Data Engineer, DaaS

PayPayの成長に伴い、PayPayのプロダクトチームは急速に拡大しており、拡大する事業ニーズを支える堅牢なデータエンジニアリングプラットフォームの必要性は、これまで以上に高まっています。DaaSチームのデータエンジニアを募集しています。DaaSチームは、Spark、Hudi、Delta Lake、Scala、AWSのデータツール群などの最先端技術を用いて、このプラットフォームの設計、実装、運用を担います。組織全体でプラットフォームを拡張するために、チームに加わり、力を発揮してくださる優秀なデータエンジニアを募集しています。

仕事内容

• Databricks、Airflow、Lambda、Terraformを用いたスケーラブルなデータ取り込みパイプラインの設計・開発・保守
• 高いパフォーマンス、信頼性、効率性を確保するための大規模データパイプラインの最適化・管理
• Spark、Delta Lake、PySpark、Scalaを用いたデータ処理ワークフローの実装
• 効果的なデータ管理と探索を実現する、Unity Catalogを備えたデータレイクハウスの保守・拡張
• データエンジニアリングのエンドツーエンドのワークフローを支援する自動化機能、フレームワーク、改善されたツールの構築
• 部門横断チームと連携し、組織全体でシームレスなデータフローと統合を実現
• オブザーバビリティ、データガバナンス、セキュリティ、コンプライアンスに関するベストプラクティスの実装

必須スキル

• データエンジニアまたは類似職種での5年以上の経験
• Databricks、Delta Lake、Spark、Scalaの実務経験
• データレイクまたはデータウェアハウスの設計、構築、運用経験
• Airflow、Dagster、Prefectなどのデータオーケストレーションツールに関する知識
• Canal、Debezium、Maxwellなどの変更データキャプチャツールに関する知識
• 少なくとも1つの主要言語（Scala、Pythonなど）とSQL（方言不問）の経験
• AWS Glue Data Catalog、Lakeformation、Unity Catalogのいずれかを用いたデータカタログ化とメタデータ管理の経験
• Terraformを用いたIaC（Infrastructure as Code）への精通
• 複雑なデータ問題のトラブルシューティングに対応するための高い問題解決力とデバッグスキル
• 優れたコミュニケーション能力と協働スキル
• 複雑な技術的背景を考慮しながら、的確な意思決定を行い、迅速に学習する能力