Data Platform Engineer / Data Group | データプラットフォームエンジニア/データグループ

Tokyo
Partial Remote
Full-time
June 19, 2025

ポジション概要

LINEヤフーのサービス開発のための、大規模データ向け分散システム（Hadoop、Apache Kafka、Apache Flink、Trino、Druidなど）として提供するデータプラットフォームの開発を担当

業務詳細

LINEヤフーでは、日々大量のデータが発生し、大量のデータがデータプラットフォームに蓄積されています。トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、数千台のサーバーを用いて分散システム基盤を構築・運用しています。

私たちのデータプラットフォームは、代表的なものとして以下のような技術スタックを活用しています：

分散処理フレームワーク: Apache Hadoop
分散メッセージングシステム: Apache Kafka
分散ストリーム処理システム: Flink
分散SQLエンジン: Trino
分散データストア: Druid

これらの技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。また、データサイエンティストが簡単にAI活用できることを目指して、機械学習プラットフォーム（AIプラットフォーム）も独自で構築し提供しています。

主な業務内容

データ収集と統合: 異なるデータソースからのデータを効率的に収集し、統合するためのETLパイプラインの設計・実装。
リアルタイムデータ処理: Apache KafkaやFlinkを用いたリアルタイムデータ処理の最適化と運用。
スケーラビリティとパフォーマンス: ネットワークの設計やハードウェアの選定など専門チームと協業しながらスケーラブルなインフラの設計・実装、パフォーマンスの最適化。
データ品質とガバナンス: データの一貫性、正確性、完全性を確保するためのツールやプロセスの導入。
データセキュリティとプライバシー: データの暗号化、アクセス制御、コンプライアンス対応。
AI/MLの統合と運用: 機械学習プラットフォームの構築・運用、MLOpsの導入。

参考情報

LINEヤフー DE統括本部参考情報一覧

求める人物像

正解のない問題解決を楽しみ、スピード感を持って品質高く解決に導ける方
複数のステークホルダーの要求のなかで課題の優先順位をつけながら解決できる方
結果にこだわり最後までやり抜く力がある方

必要な経験/スキル

分散システムを利用したデータ基盤の構築、運用の経験(1年以上)
Python・Java・Goいずれかのプログラミング業務経験(1年以上)
Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験

あると望ましい経験/スキル

100台規模以上の分散システムにおけるソフトウェアエンジニアリングまたはシステムエンジニアリングの経験
Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験
Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、及び運用改善経験
KubernetesのClusterやエコシステムの設計、構築、運用経験
Web Applicationの開発・運用の経験
CI/CDなどによるシステム自動化の経験
機械学習のシステム開発やプログラムの実装経験
Google Cloud Platform、Amazon Web ServicesでのAI開発経験
オープンソースへの貢献

APPLY NOW ➜Japanese Required ⚠️

About LY Corporation

LY Corporation is one of Japan's largest tech companies, formed in October 2023 through the reorganization of Group companies, including LINE Corporation and Yahoo Japan Corporation.

LY Corporation spans diverse businesses, including search, portal website, e-commerce, communications, and advertising under its mission, "Create an amazing life platform that brings WOW! to our users."

With a workforce comprising over 10,000 individuals from approximately 40 countries and regions, LY Corporation is dedicated to continually delivering inspiring services to its users and contributing to the realization of a more enriching and convenient lifestyle through the power of the Internet.

LY Corporation has many programs that support employees' growth, providing a work culture where people can take on new challenges. They have an environment where the employees can work with peace of mind.