LINEのData Platform室では、Apache Flinkによるストリーミング処理パイプラインを開発、運用しています。本セッションでは、このパイプラインを高パフォーマンスかつ安定的にするために取り組んでいる2つのプロジェクトについて発表します。
まず前半は、Kafka-to-Elasticsearchのパイプラインを、Kafka StreamsからFlinkに移行したプロジェクトの紹介です。Kafka StreamsとFlinkのスレッディングモデルの違いに触れながら、Flinkに移行した理由、移行の結果について解説します。
後半は、Flinkによるストリーミング処理システムにおいてオートスケーリングを実現したプロジェクトの紹介です。多種多様なFlinkジョブを汎用的にオートスケーリングするための工夫や、Kubernetes上での実装について述べます。
大須賀敦俊 / LINE
IU Data Connect Team
Software Engineer
2019年にLINEに新卒入社しました。Data Platform室にて、Apache KafkaやApache Flink、Elasticsearch、Hadoopを用いたログ分析システムの開発と運用を行っています。業務でよく使う言語は、Kotlin、Java、Pythonです。
フロックエルベ / LINE
IU Data Connect Team
Data Engineer
Data Platformのエンジニア。Analytics Platformの開発全般に深い関心を持つ。2021年末、LINE入社。現在、Data Platformへのデータの取り込みを容易にするシステムの開発、または運用の自動化に取り込んでいる。
YaChu Yang (Rita) / LINE Taiwan
Engineering
LINE TODAY Data Engineer
