Cephは、大規模なストレージクラスタを構築でき、確実に動作するオープンソースプロジェクトとして有名です。しかし、数百PB規模のクラスタを構築する必要があり、単一のCephクラスタでは要件を満たせません。そこで、この限界を克服するために、新たな方法を考案しました。複数のクラスターを連携させ、1つのクラスターとして機能させています。この機能により、クラスタの能力を持続的に拡大することができるようになります。
本発表では、この問題を解決するための我々の経験と具体的な方法を紹介します。
- All
- 88 sessions
Opening Session
-- 小久保雅彦ヤフー
- 池邉智洋LINE
Federated Learningを用いたLINEスタンプの推薦
Data / AI-- 菊地悠LINE
ZOZOTOWNのデータ基盤の原罪と現在
Data / AI-- 塩崎健弘ZOZO
日本語の基盤モデルを搭載したHyperCLOVAの大規模化と応用可能性
Data / AI-- 佐藤敏紀LINE
- 山崎天LINE
新サービスLIVEBUYの方針決定を支えたデータ分析
Data / AI-- 長尾圭一郎LINE
ヤフー広告のAI広告審査システムCreativeTesterについて
Data / AI-- 甲斐裕樹ヤフー
Flink@Data Platform - Ingestion Pipelineの再設計とオートスケーリング
Data / AI-- 大須賀敦俊LINE
- フロックエルベLINE
AI-Text Filterモデルに大規模なMLモデルを適用する方法
Data / AI-- Hyung Rak KimLINE Plus
Data Platformにおけるデータ利活用を促進するためのData Catalogの開発
Data / AI-- 宇田川直人LINE
オンデバイス動作可能なEnd-to-End音声認識システムの開発
Data / AI-- 大町基ヤフー
コンピュータービジョン最前線 - サービス応用の現在とその可能性
Panel DiscussionData / AI-- 岡本大和LINE
- 土井賢治ヤフー
- 光瀬智哉ZOZO
月間取扱高10億円以上のマーケティング成果を上げ続ける一休のデータ基盤
Data / AI-- 菅野勝一休
出前館における機械学習パイプライン構築と機械学習プロダクトの継続的改善
Data / AI-- 髙久裕央Demae-can
LINEのEnd-To-EndなMLOpsプラットフォーム
Data / AI-- Sun Hyeong HongLINE Plus
感情表現豊かな音声合成システムを実現するための技術開発と運用について
Data / AI-- 寺島涼LINE
- 二又航介LINE
LINEスタンプのLINE公式アカウント配信効率を改善した配信ロジック
Data / AI-- 永峰宏規LINE
OSS 分散近似近傍密ベクトル検索エンジンVald~導入と活用事例~
Data / AI-- 加藤優介ヤフー
- 湯川輝一朗ヤフー
AutoFM: 基盤モデルの学習・推論を自動化できるプラットフォーム
Data / AI-- 柴田知秀ヤフー
ヤフートップページの裏側:記事推薦システムの試行錯誤と今後の挑戦
Data / AI-- 大倉俊平ヤフー
クラシルがSnowflakeでパーソナライズドレコメンドをしている話
Data / AI-- 張替 裕矢(harry)dely
AIの信頼性を可視化するストレステスト技術
Data / AI-- 綿岡晃輝LINE
ヤフーとLINEのデータ分析組織における課題と試行錯誤
Panel DiscussionData / AI-- 阪上恵理ヤフー
- 高口太朗LINE
- 関口優希ヤフー
How I Learned to Stop Worrying and Love the Bom
Security-- ヴェスティンシーモンLINE
- 二関学LINE
SSHCA: 証明書利用による安全性と利便性を両立したサーバログイン
Security-- 紺谷将也ヤフー
UPDATE 不正対策~誰もが安心できるeコマースを目指して~
Security-- 醍醐旭裕ヤフー
信頼性が高いサーバーサイドでのセキュアソフトウェア開発
Security-- Charles HubainLINE Plus
- ルジュンジョナスLINE
JavaScriptホワイトボックス暗号とLINE Chromeのセキュリティ強化
Security-- 安相煥LINE
より安全なKubernetes Secrets管理のためのエコシステムの開発
Security-- 山口勝也ヤフー
ヤフーが実践するプロダクション環境でのカオスエンジニアリング
Infrastructure-- 立見祐介ヤフー
半年で1,800台のMySQLインスタンス移行を行うための自動化ツール
Infrastructure-- 原地芳暢LINE
バーティカル検索プラットフォームABYSSの取り組み
Infrastructure-- 武田康士ヤフー
ヤフーとLINEが運営する、日本有数のMySQL環境の課題とこれから
Panel DiscussionInfrastructure-- 田中翼 (yoku0825)LINE
- 佐藤誠ヤフー
1000以上のKubernetesで共通アドオンを管理している話
Infrastructure-- 上村 真也ゼットラボ
ハイパースケールプロジェクト、Cephの限界を克服する理由と構築方法
Infrastructure-- Ilsoo ByunLINE Plus
ZOZOTOWNの最大級イベントである新春セールを乗り越えるための取り組み
Infrastructure-- 秋田海人ZOZO
最新ハードウェアを活用するMySQLストレージエンジンの共同研究
Infrastructure-- 松浦聖平ヤフー
Kubernetes を使用した宣言型クラウドDBサービス
Infrastructure-- Woohyung HanLINE Plus
Dynamic Link: LINE が開発したスマートコントラクトの相互利用手法
Blockchain-- 高瀬亮 (loloicci)LINE
ゼロからはじめるLINE Blockchainにおけるスマートコントラクト開発
Blockchain-- 高橋史季LINE
LINE Blockchainを構成する7つのセキュリティ
Blockchain-- 所沢万里子LINE
Intel SGX技術でセキュアな鍵管理システムを開発した話
Blockchain-- 鷹見虎男LINE
Easier and Safer LINE Account Transfer
Server Side-- 馬相旭LINE Plus
定期的に訪れる通常比5-10倍のアクセス増に対応するアーキテクチャ改修
Server Side-- 松本有生バリューコマース
LINE証券と外部サービスとの連携の仕組み
Server Side-- 艾迪LINE Fukuoka
Yahoo!ショッピングアプリの負荷に対する取り組み
Server Side-- 和泉明憲ヤフー
Server Architecture Behind Safety Check at LINE
Server Side-- Alfredo OsorioLINE
- 李志鑫LINE
広告配信システムの統合とモダン化~10年分のレガシー脱却~
Server Side-- 川崎祥ヤフー
独立的で汎用的なオールインワンメッセージングプラットフォーム
Server Side-- Song Jae Wook (allen)Demae-can
20億req/dayを受けるレコメンドサービスが直面する問題とその対策
Server Side-- 渡邉直樹 (hackmylife)LINE
DataSolution事業を支える技術
Server Side-- 山口寛ヤフー
20年続くフードデリバリーサービス「出前館」におけるマイクロサービス化の取り組み
Server Side-- 漆原俊介Demae-can
LINEオープンチャットのサーバーが100倍急増するトラフィックを処理する方法
Server Side-- Injae KimLINE Plus
超PayPay祭りを支える購入導線の負荷対策について
Server Side-- 常澤邦幸ヤフー
「あけおめLINE」と「PayPay祭り」から学ぶ 大規模トラフィックを乗り切る負荷対策
Panel DiscussionServer Side-- 松本有生バリューコマース
- 中村俊介LINE
- 小林慎治ヤフー
Creative Experiences of Tech-Verse – Approach and Design
UX / Design-- Yeri JangLINE
- Hyeongseung KimLINE
PayPay金融ブランド統一。スタイル共通化と金融No.1フォームを目指す取り組み
UX / Design-- 長谷川真也ヤフー
Eコマースサービスに寄り添うデザイン、事業成長とUX向上の両立とバランス
Panel DiscussionUX / Design-- 橋本建吾LINE
- 田中里紗ヤフー
- 林健太ZOZO
- 江森朋哉ヤフー
簡単で迅速なサイト制作、Brand UI Design System
UX / Design-- Kwang Sun RyuLINE Plus
アクセシビリティ向上のために、共感・モチベーションを生み出す苦労と工夫
Panel DiscussionUX / Design-- 富田梓LINE
- 中野信ヤフー
- 白石泰己出前館
- 福島英児LINE
プロダクト開発のプロセスにおけるUXリサーチの取り入れ方
UX / Design-- 田島佳穂ヤフー
Yahoo!ショッピングのランキングを構成する特許たち
UX / Design-- 稲垣竜ヤフー
- 今野彩音ヤフー
出前館アプリトップページ大規模リファクタリングによる保守性改善について
Mobile App-- 工藤和宗Demae-can
PayPayフリマはどうやってPaging 2をPaging 3に移行したか
Mobile App-- 長濱伶ヤフー
LINE iOSアプリの新OS対応を通じた 世界の開発者への貢献
Mobile App-- 秋勇紀 (freddi)LINE
多数の連合学習を支援するLFLクライアントプラットフォーム
Mobile App-- Hyukjae JangLINE Plus
新たな価値を提供し続けるためのコード健全化の取り組み~Yahoo!天気アプリ
Mobile App-- 大前良介ヤフー
新たなユーザー体験の実現を目指して。iOS新機能のキャッチアップと導入、その先まで
Panel DiscussionMobile App-- 三木康暉 (giginet)LINE
- 田中達也ヤフー
- 朴盛民LINE
モバイルアプリにおける技術課題の定量化と追跡の取り組み
Mobile App-- 林和弘ヤフー
AnkoからJetpack Composeへ、LINEスタンプメーカー技術的負債解消の道のり
Mobile App-- Po-Hao Chen (Po)LINE Fukuoka
SwiftUI in LINE LIVE iOS - 技術選定と実装
Mobile App-- 王巍 (onevcat)LINE
Headless CMS in LINE
Web Front-end-- Kwangyong ParkLINE Plus
ヤフーショッピングのフロントエンドを支える共通配信技術
Web Front-end-- 田中久志ヤフー
- 小仲博晃ヤフー
Feature Toggleを用いた大規模改修への開発アプローチin LINEスキマニ
Web Front-end-- 磯村建司郎LINE Growth Technology
ヤフー全社横断「Webパフォーマンス改善」の取り組み
Web Front-end-- 浜田真成ヤフー
OSSが持続可能であるために、フロントエンドエンジニアができること
Panel DiscussionWeb Front-end-- 浜田真成ヤフー
- 上野康平LINE
- 折原レオナルド賢LINE
Core Web Vitalsの良好URL数を99%以上に維持してきた方法
Web Front-end-- 松浦慶多ヤフー
Reactと共に進化するGraphQLクライアントRelayの活用事例
Web Front-end-- 丹野明士一休
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Process & Environment-- 安永華七子ヤフー
開発生産性や品質向上を目指してE2Eテストをとことん自動化したら得られたもの
Process & Environment-- 奥田浩行LINE Fukuoka
ヤフートラベルのシステムリニューアル / 一休.com とのシステム統合
Process & Environment-- 伊藤直也ヤフー
CosmWasmスマートコントラクトのバグを発見する方法
Process & Environment-- Doyeon KimLINE Plus
「知りたい」気持ちが会社を越える ~ 合同勉強会の魅力と難しさ
Panel DiscussionProcess & Environment-- 春野健吾ヤフー
- 諸星一行ZOZO
- 花谷拓磨LINE
500名にサービス運営指標を提供し続けるために必要な役割と組織体制
Process & Environment-- 原山功也LINE Fukuoka
LINEミニアプリ:5カ国10以上のチームで共通のゴールに向かう
Process & Environment-- 石塚剛LINE
チームの協働関係を強化するスクラム活用方法
Process & Environment-- 荒瀬中人ヤフー
ELKとGrafanaを使用したテスト自動化の可視化
Process & Environment-- Joonsoo Lee (Joon)LINE Plus
Yahoo! JAPANトップページにおけるKanbanとXPの運用と定量可視化
Process & Environment-- 金田雅史ヤフー
エンジニアリング組織における段階的かつ継続的なプロセス改善とは
Process & Environment-- Sehyun LeeLINE Biz Plus
Day 1 - JST
CLOSEPresentation language Ko Interpretation languages Ja, En
ハイパースケールプロジェクト、Cephの限界を克服する理由と構築方法
Infrastructure
Presentation language Ko Interpretation languages Ja, En
Speaker
Ilsoo Byun / LINE Plus
Cloud Storage
Storage Engineer
Ceph を使用して大規模なストレージ クラスターを構築している際、LINEで経験したユニークな経験を共有したいと思います。
Interviewer (+Talk)
沼田晃希 / ヤフー
テクノロジーグループシステム統括本部サイトオペレーション本部
第12代黒帯~ストレージ~