LINE Data Platform 팀에서는 Apache Flink로 스트리밍을 처리하는 파이프라인을 개발 및 운영하고 있습니다. 이 발표에서는 이 파이프라인을 안정적으로 고성능으로 만들기 위한 두 개의 프로젝트를 소개하겠습니다.
먼저 Kafka-to-Elasticsearch 파이프라인을 Kafka Streams에서 Flink로 이행한 프로젝트를 소개하겠습니다. Kafka Streams와 Flink의 스레딩 모델의 차이를 설명하고 Flink로 이행한 이유와 그 결과를 공유하겠습니다.
다음으로 Flink로 스트리밍 처리 시스템의 오토 스케일링을 구현한 프로젝트를 소개하겠습니다. 다양한 Flink 작업을 범용적으로 오토 스케일링하기 위한 노력과 쿠버네티스에서의 구현을 설명하겠습니다.
Atsutoshi Osuka / LINE
IU Data Connect Team
Software Engineer
2019년에 LINE에 입사했습니다. Data Platform 팀에서 Apache Kafka 및 Apache Flink, Elasticsearch, Hadoop을 이용한 로그 분석 시스템 개발과 운영을 담당하고 있습니다. 업무에서 주로 사용하는 언어는 Kotlin, Java, Python입니다.
Hervé Froc / LINE
IU Data Connect Team
Data Engineer
분석 플랫폼 개발 전반에 깊은 관심이 있는 데이터 플랫폼 엔지니어입니다. 2021년 말에 LINE 입사해서 현재 데이터 플랫폼의 데이터 수집을 용이하게 하기 위한 시스템 개발과 운영 자동화에 힘쓰고 있습니다.
YaChu Yang (Rita) / LINE Taiwan
Engineering
LINE TODAY Data Engineer
