[Youtube 세미나 보기] Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 / if(kakao)2022 # 다루고자 하는 내용 # 개발자들은 언제 Batch를 개발할까? 특정 시간에 많은 데이터를 일괄 처리 배치를 사용하는 상황 일괄 생성 일괄 수정 통계 무관심한 Batch Performance # Batch 개발을 쉽게 생각하는 경향 배포후 관리 소홀 배치를 지원하는 APM Tool의 부재 많은 데이터 처리량 # 2017년 : 하루 평균 25만번 현재 : 1억번 그럼에도 Batch 수행시간은 1시간으로 동일하다. ...
tech blog 글 읽고 정리하기 # 누구나 할 수 있는 10배 더 빠른 배치 만들기 # 우아한형제들 셀러 시스템 배치 개선 이야기 # 우아한형제들 기술 블로그의 글을 읽으면서 정리해본다. 최근 셀러시스템팀에서 하루 한 번 주기로 실행되는 배치를 최적화하는 과제를 진행한 내용에 대한 포스팅이다. 비운영 시간 데이터 # 셀러시스템에서는 가게와 업주에 대한 다양한 데이터를 관리 사장님들의 관리 사항 ‘가게가 운영하는지 안하는지’에 대한 정보를 유관 부서에 전달한다. ‘비운영시간 데이터’ 실시간으로 수정되는 정보를 반영 매일 새벽에 전체 데이터를 계산하고 그 결과를 미리 갱신해둔 후, 유관부서에 전파 다양한 채널에서 입력되는 각족 운영과 휴무 데이터를 취합해서 비운영시간 데이터를 계산 위 계산된 데이터가 클라이언트까지 잘 전달될 수 있도록 각 지면에 적절한 형태로 가공하여 제공 문제상황 # 새벽에 배치 작업을 할때, 수많은 가게의 데이터를 매일 갱신하므로 배치 수행시간이 오래걸린다. ...