Dominic’s Dev Memo
/
DevOps & Develop
/
스트리밍 플랫폼 채팅 수집 부하를 견디는 아키텍처 설계
/
치지직 채널 크롤링(Lambda + EventBridge)
Search
Share
치지직 채널 크롤링(Lambda + EventBridge)
개요
방송 플랫폼에 대한 채팅을 수집하기 위해서는 채널을 지속적으로 추가 할 수 있어야한다.
이를 위해서는 스케쥴링을 통해 지속적으로 채널을 가져올 수 있어야 한다.
아래와 같이 방송 플랫폼의 카테고리 내에 존재하는 방송중인 채널들에 대하여 UUID를 수집하기만 할 수 있으면 되므로 채널 수집에 대한 부분은 크게 문제가 없을 것으로 보인다.