Senior Data Engineer - MIDAS Data Platform, Digital Bank

概要

MIDAS（Management Integration & Data Analytics System）データプラットフォームチームのシニアデータエンジニアとして、日本でも革新的なデジタルバンクの一つにある大半のシステムをつなぐ中央データハブをゼロから構築・保守します。

最新のクラウドベースのデータ技術を活用し、さまざまな銀行システムからデータを取り込み、複雑なビジネスロジックを適用したうえで、経営管理、規制報告、リスク管理などの下流システムやその他多くの用途に提供します。

銀行業界に対する高い要求水準を背景に、データ品質、複数システム間の照合、時間制約のあるデータ処理、完全なトレーサビリティなど、複雑なデータエンジニアリングの課題に取り組む機会があります。

シニアのプレイヤー（IC）ポジションとして、複雑なデータパイプラインの設計・実装、ミッドレベルエンジニアのメンタリング、プラットフォームのアーキテクチャに関する意思決定への参加を担います。

※本ポジションでは、Money Forward, Inc.で雇用され、新会社（SMBC Money Forward Bank Preparatory Corporation）へ出向します。評価制度および福利厚生は、Money Forward, Inc.の規定に準じます。

会社概要

Sumitomo Mitsui Financial GroupおよびSumitomo Mitsui Banking Corporationと提携し、新しいデジタルバンクの設立に取り組むスタートアップチームです。中小企業（SMBs）の支援を重視し、組み込み型金融プロダクトをゼロから構築することをミッションとしています。

仕事内容

• 複数のソースシステム（CRM、CBS、CLM、LOS）からREST APIまたはデータベース接続を使用してデータを取り込むデータパイプラインの設計・実装
• データ品質、一貫性、パフォーマンスを確保するBronze/Silver/Goldレイヤーの変換処理の構築・保守
• データ品質チェックおよびシステム間照合ロジックの実装（例：CBSの取引記録と台帳残高の照合）
• Databricks SQL／ノートブックまたはDelta Live Tablesを使用したSQLクエリおよび変換処理の開発・最適化
• 分析・レポーティング用途向けデータモデルの設計・実装：CRMデータ統合を主軸とし、規制報告および外部出力用のConseekリスクエクスポートマートも対象（ALM/ERMのリスク計算自体はConseekによる外部処理）
• 下流コンシューマー向けREST APIまたはデータ提供レイヤーの構築
• データプラットフォームコンポーネントのアーキテクチャに関する意思決定への参加
• パイプライン向け単体テスト、統合テスト、データ品質テストの作成
• データパイプラインのパフォーマンス監視、失敗の原因特定、改善の実装
• パーティショニング戦略、Z-ordering、クエリチューニングによるクエリパフォーマンスの最適化
• Terraformを使用したデータプラットフォームコンポーネントのIaC（Infrastructure as Code）実装
• データパイプラインの自動テストおよびデプロイに向けたCI/CDパイプラインの構築
• ミッドレベルエンジニアのメンタリングおよびコードレビューの実施
• チーム向けドキュメントおよびベストプラクティスへの貢献
• バックエンドエンジニアとの連携によるAPIコントラクトおよびデータスキーマの定義
• テックリードと連携したプラットフォーム設計および技術選定に関する意思決定
• データプラットフォーム内の機能および取り組みのリード
• Zenginの決済タイミングに合わせたEODデータ収集プロセスの支援

必須スキル

• データエンジニアリングまたはアナリティクスエンジニアリングにおける5年以上の経験
• SQLとPythonに精通していること
• Databricks、Sparkなどの最新ツールを使用したデータパイプライン構築の実務経験
• クラウドデータプラットフォーム（AWS、Azure、GCP）およびストレージシステム（S3、ADLS、GCS）の経験
• ディメンショナルモデリング、データボールト、イベント駆動アーキテクチャなどを含むデータモデリング手法への深い理解
• 低速なクエリおよびデータ処理ジョブをデバッグ・最適化した実績のある能力
• バージョン管理（Git）およびCI/CDパイプラインの経験
• データガバナンスの概念（アクセス制御、監査ログ、データリネージ）に関する理解
• 高い問題解決能力および自律的に働く能力
• ジュニアまたはミッドレベルエンジニアのメンタリング経験
• 部門横断チームとの協働に必要な優れたコミュニケーションスキル
• コンピュータサイエンス、工学、または関連分野の学士号、または同等の実務経験
• 言語能力：日本語（ビジネスレベル）必須

歓迎スキル

• 英語力（ビジネスレベル以上、例：TOEIC 700+）は、チーム間のドキュメント作成および連携において歓迎
• データ品質の検証およびテストフレームワークの経験
• 金融サービス、フィンテック、その他の規制産業のいずれかにおける経験
• 銀行ドメインの概念に関する知識：コアバンキングシステム、決済処理、規制報告、AML／トランザクションモニタリング
• 規制要件に準拠したデータプラットフォームの実装経験（FISC Security Guidelines、FSA/BOJ報告、GDPR、APPI）
• Databricksプラットフォームの実務経験（AutoLoader、Unity Catalog、Delta Live Tables、Databricks SQL、Databricks Workflows）
• 金融データのシステム間照合の実装経験
• Databricksにおけるパフォーマンスチューニングの経験：パーティショニング戦略、Z-ordering、クエリ最適化、コスト管理
• Python（FastAPI、Flaskなど）を使用したデータ提供用REST APIの構築経験
• ストリーミングデータ取り込みパターンおよび外部ツール（Kafka、Kinesis）に関する知識
• Terraformの経験
• オープンソースのデータエンジニアリングプロジェクトへの貢献
• Databricks SQL DashboardsまたはBIツール（Tableau、Looker、PowerBI）の経験
• 設計から実装まで技術的な取り組みをリードした経験
• データプラットフォームのパフォーマンス改善またはコスト削減の実績（具体的な指標の提示）
• AI開発の経験またはAIツールを使用して開発プロセスを改善した経験（両方も可）
  • Money Forwardは大きな転換点を迎え、「クラウドからAIへ」と移行しています。現在、DXの次の段階である「AX（AIトランスフォーメーション）」を推進し、AIエージェントが自律的にタスクを実行する「Digital Workers」の提供を目指しています。将来的にすべてのプロダクトへAIエージェントを統合し、日本No. 1のバックオフィスAI企業へと進化する段階に入る中、AI主導の開発と価値創出に貢献し、その価値を重視する人材の募集（詳細はこちら）

技術スタック

クラウドインフラストラクチャ

• AWS（東京リージョンの主要クラウドプラットフォーム）
• データレイクストレージとしてのS3、およびセキュアな接続のためのVPCネットワーキング
• セキュリティおよびアクセス管理用AWS IAM

データレイクハウスアーキテクチャ（Databricks）

• ACIDトランザクション、タイムトラベル、スキーマ進化に対応するDelta Lakeを使用した最新のレイクハウスアーキテクチャ
• 分析向けに最適化された列指向ストレージ形式（Parquet）
• 段階的なデータ精製のためのBronze/Silver/Goldメダリオンアーキテクチャ
• クエリパフォーマンス向上のためのパーティション戦略およびZ-ordering
• 集中ガバナンスおよびメタデータ管理のためのUnity Catalog

オーケストレーション＆処理（Databricks）

• 管理されたワークフローオーケストレーションを実現するDatabricks Workflows
• Databricksクラスター上のApache Sparkによる分散データ処理
• コスト最適化のためのサーバーレスコンピューティングおよびオートスケーリングクラスター
• Databricks AutoLoaderを使用したストリーミングおよびバッチ取り込みパターン

データ変換（Databricks）

• 組み込みデータ品質機能を備えた宣言的ETLパイプライン用Delta Live Tables
• Databricksノートブックにおけるデータ変換用SQLおよびPython
• 効率化のための増分マテリアライゼーション戦略

クエリ＆分析（Databricks）

• 高パフォーマンスな分析クエリを実行するDatabricks SQL
• 変動するワークロードに対応するサーバーレスおよびオートスケーリングSQLウェアハウス
• クエリ結果のキャッシュおよび最適化
• 下流コンシューマーへのデータ提供用REST API
• 高度なコンシューマー向けDelta Lakeへの直接アクセス（Athena、Redshift Spectrumなど）

データ品質＆ガバナンス（Databricks）

• Delta Live Tables expectationsによる自動データ品質管理
• システム間照合および検証ロジック
• Unity Catalogを使用した列・行レベルセキュリティによるきめ細かなアクセス制御
• 規制遵守のための自動データリネージ追跡
• 監査ログおよび10年間のデータ保持ポリシー

ビジネスインテリジェンス（Databricks）

• 社内分析および監視用Databricks SQL Dashboards
• Databricks SQLエンドポイント経由のエンタープライズBIツール（Tableau、PowerBI、Looker）との統合

開発＆DevOps

• 言語：SQL（主要言語）、Python
• プラットフォーム：Databricks（ノートブック、ワークフロー、SQL）
• バージョン管理：GitHub
• CI/CD：GitHub Actions
• Infrastructure as Code：Terraform
• 監視：Databricks監視、AWS CloudWatchとの統合
• AI支援開発：Claude Code、GitHub Copilot、ChatGPT

職場環境

Money Forwardでは、世界水準のサービスを共に創り上げられる環境を提供しており、皆さまをお迎えできることを楽しみにしています。

• 支給PCのスペック：最新CPUを搭載したPC（MacOSまたはWindows）の提供。業務要件に合わせたカスタムメイドPCや、最新OSへの入れ替えにも対応可能なPC環境
• Money Forward Library：技術書から経営書まで、書籍を自由に借りられる図書館制度。希望する書籍は会社負担で購入可能
• リファラル採用：採用関連の会食費を会社が負担。紹介報奨金制度
• カンファレンス参加支援：RubyKaigiやGoogle I/Oなど、国内外のカンファレンスへの参加費を会社が一部負担