この求人のポイント
- 正社員
- 年収 6,500,000円〜8,500,000円
- 九段下駅
- 東京都千代田区九段南
仕事内容
■年収
650~850万円
■仕事内容
【職務内容】AI検索サービス向けデータ基盤において、データの品質保証(Data Quality)、およびETLパイプラインの実装・運用を担当します。
【具体的には】
1.データ品質管理(Data Quality)の実装と監視:40%
AIモデルが常に「正しいデータ」を利用できるよう、データの品質を監視・維持する仕組みを実装します。
データテストの実装: Dataformやdbt等を用い、データの欠損・重複・異常値を検知するテストコード(Assertion)の作成と実装。
モニタリング環境の整備: データの鮮度や品質低下を検知した際、即座にSlack等へ通知し、原因を特定できるダッシュボードや監視フローの構築。
データリネージの管理: データの発生源から利用箇所までの流れ(リネージ)を整理し、メタデータ管理ツールへの登録・更新を行い、トレーサビリティを確保する。
2.データパイプライン(ETL/ELT)の開発・改善:40%
設計されたアーキテクチャに基づき、実際のデータ処理フローを開発します。
ETL処理の実装: PythonやSQLを用いて、ログデータや商品データを収集・加工する処理のコーディング。
ワークフローの移行・自動化: 手動で行われている既存のデータ処理を、Workflow Engine(Airflow/Vertex AI Pipelines)上での自動実行ジョブへと書き換える。
パフォーマンスチューニング: クエリの最適化を行い、データ処理時間の短縮やコスト削減(BigQueryのコスト管理等)を行う。
3.データサイエンティストとの連携・サポート:20%
データサイエンティストからの「こんな特徴量が欲しい」「データがおかしい」といった要望・問い合わせに対し、SQLを用いた調査やデータ抽出、マート作成を行う。
【職種の魅力】
AIの精度向上に直結: 自身が整備・クレンジングしたデータによって、検索精度やレコメンドの質が向上する様子をダイレクトに感じられます。
■求める経験
【必須】
いずれもの条件を満たす方
・ SQLを用いたデータ抽出・集計・加工作業の実務経験(目安:1年以上/複雑なJOINやウィンドウ関数が書けるレベル)
・ Python等のスクリプト言語を用いた開発経験
・ 何らかのDB(RDBまたはDWH)におけるテーブル設計やデータ管理の基礎知識
・ データの不整合やエラーに対し、根気強く原因を調査し解決した経験
【歓迎】
・ GCP(BigQuery)またはAWS(RedshiftAthena)でのデータ処理経験
・ Dataform dbt等のELTツールを用いたデータモデリング・テスト実装経験
・ Airflow等のワークフローエンジンを用いたジョブ管理の経験
・ Git/GitHubを用いたチーム開発経験
・ データ品質(DataQuality)に関する関心・知識
・ Webサービスのログ設計やデータ収集に関する知識
■雇用形態
正社員
■保険
健康保険 厚生年金 雇用保険 労災保険
■諸手当
通勤手当 確定拠出年金制度 社内研修制度 社内英会話レッスン(本社ビルのみ) 保養所(ラフォーレ倶楽部) テーマパークチケット優待
■休日休暇
慶弔休暇 年末年始 夏期休暇 有給休暇 完全週休2日制(土日) 祝日 特別休暇
経験・資格
| 必要資格 | 【必須】 いずれもの条件を満たす方 ・ SQLを用いたデータ抽出・集計・加工作業の実務経験(目安:1年以上/複雑なJOINやウィンドウ関数が書けるレベル) ・ Python等のスクリプト言語を用いた開発経験 ・ 何らかのDB(RDBまたはDWH)におけるテーブル設計やデータ管理の基礎知識 ・ データの不整合やエラーに対し、根気強く原因を調査し解決した経験 【歓迎】 ・ GCP(BigQuery)またはAWS(RedshiftAthena)でのデータ処理経験 ・ Dataform dbt等のELTツールを用いたデータモデリング・テスト実装経験 ・ Airflow等のワークフローエンジンを用いたジョブ管理の経験 ・ Git/GitHubを用いたチーム開発経験 ・ データ品質(DataQuality)に関する関心・知識 ・ Webサービスのログ設計やデータ収集に関する知識 |
|---|---|
| 経験 | 【必須】 いずれもの条件を満たす方 ・ SQLを用いたデータ抽出・集計・加工作業の実務経験(目安:1年以上/複雑なJOINやウィンドウ関数が書けるレベル) ・ Python等のスクリプト言語を用いた開発経験 ・ 何らかのDB(RDBまたはDWH)におけるテーブル設計やデータ管理の基礎知識 ・ データの不整合やエラーに対し、根気強く原因を調査し解決した経験 【歓迎】 ・ GCP(BigQuery)またはAWS(RedshiftAthena)でのデータ処理経験 ・ Dataform dbt等のELTツールを用いたデータモデリング・テスト実装経験 ・ Airflow等のワークフローエンジンを用いたジョブ管理の経験 ・ Git/GitHubを用いたチーム開発経験 ・ データ品質(DataQuality)に関する関心・知識 ・ Webサービスのログ設計やデータ収集に関する知識 |
勤務地・交通
| 勤務地 | 東京都千代田区九段南東京都千代田区九段南1丁目6番5号 九段会館テラス |
|---|---|
| 最寄り駅 | 九段下駅 |
給与
| 給与 | 年収 6,500,000円〜8,500,000円 |
|---|---|
| 待遇・福利厚生 | 健康保険 厚生年金 雇用保険 労災保険 通勤手当 確定拠出年金制度 社内研修制度 社内英会話レッスン(本社ビルのみ) 保養所(ラフォーレ倶楽部) テーマパークチケット優待 |
企業情報
| 企業名 | 株式会社ミスミグループ本社 |
|---|---|
| 所在地 | 東京都千代田区九段南東京都千代田区九段南1丁目6番5号 九段会館テラス |
データエンジニア「GCP×モダンDWH環境」