【Product】AI Platform Engineer（LLM推論・評価基盤担当）
Posted Updated
Description
【Product】AI Platform Engineer（LLM推論・評価基盤担当）
仕事概要
Frictio は「営業活動の摩擦をゼロにする」をミッションに掲げる AI-Native CRM を開発しています。Frictio では、サービスごとに定義された Skill / Tool を AI エージェントが自律的に呼び出して業務を遂行します。Skill / Tool の種類と実行量が増え続ける今、「どのタスクに、どのモデルを、どの推論クラスで、いくらのコストで割り当てるか」を、データとベンチマークで意思決定できる状態にすることが事業の競争力に直結しています。本ポジションでは、その心臓部である LLM コール基盤・推論ルーティング・評価（ベンチマーク）基盤・ジョブオーケストレーションを、ゼロから設計・実装・運用していただきます。既製のマネージドサービスを繋ぐ仕事ではなく、自社の推論経済性そのものを設計する仕事です。
AI-Native プロダクトの「推論の経済性と品質」を技術で支えるという、これからの時代の AI Platform の中核を担えます。
【職務内容】
・複数サービス・複数モデル（商用 API / セルフホスト OSS モデル）を統合的に扱う推論ゲートウェイの設計・実装
・vLLM 等の推論エンジンを用いたセルフホスト推論環境の構築、チューニング（KV キャッシュ / Prefix Caching、量子化、バッチング等）
・Skill / Tool ごとのタスク性能特性の計測と、モデル ⇄ タスクのルーティングポリシーの設計・実装
・推論クラス（リアルタイム / ニアリアルタイム / 長期間バッチ Job）の定義と割り当て設計
・上位モデルから小型モデルへの置き換え、蒸留を含むコスト最適化ループの実装と、「品質を落とさずにいくら下げられたか」の継続的な可視化
・本番の Skill / Tool 実行ログから評価データセット（Golden Set）を継続的に生成するパイプラインの設計 ・オフライン評価・オンライン評価の両輪設計（ルールベース評価、LLM-as-a-Judge、人手アノテーション、A/B・シャドー実行）
・リグレッションゲートの構築：モデル / プロンプト / Skill 定義の変更を CI で自動評価し、昇格（draft → shadow → active）の判断を仕組みに落とす
・評価指標そのものの妥当性検証（指標のハッキング耐性、人手判断との相関の追跡）
・定期実行 Job / イベント駆動 Job を統一的に扱う宣言的なジョブ制御平面と、リコンシリエーション型の制御ループの実装 ・障害検知・自動リトライ・部分再実行・冪等性設計・バックプレッシャ制御
・トレース・メトリクス・コスト・品質を同一の軸で追える可観測性の設計と、AI 推論コスト（トークン単位の課金トレース）の可視化・管理
必須スキル
Frictio は「営業活動の摩擦をゼロにする」をミッションに掲げる AI-Native CRM を開発しています。Frictio では、サービスごとに定義された Skill / Tool を AI エージェントが自律的に呼び出して業務を遂行します。Skill / Tool の種類と実行量が増え続ける今、「どのタスクに、どのモデルを、どの推論クラスで、いくらのコストで割り当てるか」を、データとベンチマークで意思決定できる状態にすることが事業の競争力に直結しています。本ポジションでは、その心臓部である LLM コール基盤・推論ルーティング・評価（ベンチマーク）基盤・ジョブオーケストレーションを、ゼロから設計・実装・運用していただきます。既製のマネージドサービスを繋ぐ仕事ではなく、自社の推論経済性そのものを設計する仕事です。
AI-Native プロダクトの「推論の経済性と品質」を技術で支えるという、これからの時代の AI Platform の中核を担えます。
【職務内容】
・複数サービス・複数モデル（商用 API / セルフホスト OSS モデル）を統合的に扱う推論ゲートウェイの設計・実装
・vLLM 等の推論エンジンを用いたセルフホスト推論環境の構築、チューニング（KV キャッシュ / Prefix Caching、量子化、バッチング等）
・Skill / Tool ごとのタスク性能特性の計測と、モデル ⇄ タスクのルーティングポリシーの設計・実装
・推論クラス（リアルタイム / ニアリアルタイム / 長期間バッチ Job）の定義と割り当て設計
・上位モデルから小型モデルへの置き換え、蒸留を含むコスト最適化ループの実装と、「品質を落とさずにいくら下げられたか」の継続的な可視化
・本番の Skill / Tool 実行ログから評価データセット（Golden Set）を継続的に生成するパイプラインの設計 ・オフライン評価・オンライン評価の両輪設計（ルールベース評価、LLM-as-a-Judge、人手アノテーション、A/B・シャドー実行）
・リグレッションゲートの構築：モデル / プロンプト / Skill 定義の変更を CI で自動評価し、昇格（draft → shadow → active）の判断を仕組みに落とす
・評価指標そのものの妥当性検証（指標のハッキング耐性、人手判断との相関の追跡）
・定期実行 Job / イベント駆動 Job を統一的に扱う宣言的なジョブ制御平面と、リコンシリエーション型の制御ループの実装 ・障害検知・自動リトライ・部分再実行・冪等性設計・バックプレッシャ制御
・トレース・メトリクス・コスト・品質を同一の軸で追える可観測性の設計と、AI 推論コスト（トークン単位の課金トレース）の可視化・管理
歓迎スキル
・LLM アプリケーションの本番運用経験（RAG、エージェント、ツール呼び出し）・モデル蒸留・量子化・ファインチューニングの実務経験
・推論経済性（トークン単価、GPU 時間あたりスループット）を軸にした意思決定の経験
・ストリーム処理基盤（Kafka / Pub-Sub 等）とイベント駆動アーキテクチャの設計経験
・MLOps / LLMOps ツールチェーンの導入・評価経験
・大規模ログ基盤（データレイク、列指向フォーマット、クエリエンジン）の設計経験
・OpenTelemetry / Langfuse 等を活用した LLM トレーシング・オブザーバビリティ基盤の設計・運用経験
・コスト最適化（FinOps）の実践経験
・音声認識・NLP 関連サービスのインフラ経験
・OSS へのコントリビューション、技術記事や登壇による発信
・論文・技術動向をキャッチアップし、自社アーキテクチャへの適用可否を判断した経験
・英語での技術文書読解・コミュニケーション
求める人物像
・AI Platform から事業成果を出したい方・モデルを「作る人」ではなく、モデルを「選び・測り・切り替える基盤を作る人」としてのアイデンティティを持てる方
・「精度が上がった」を測定可能な形に翻訳することを面倒がらず、評価指標の妥当性を疑い続けられる方
・技術的な美しさと単位経済性のトレードオフを自分の判断軸に持っている方
・インフラ・データ・ML の境界にある問題を「自分の担当外」と切らない方
・少人数チームで、曖昧な課題に対して自律的に仮説を立てて実行できる方
・属人的な運用を見つけたら、それを自動化・宣言化する方向に手が動く方
・施策からデリバリーまでの「人間の介在」を減らすことに執着できる方
・AI の進化に合わせて自分の働き方を常にアップデートし続け、変化そのものを楽しめる方 ・不確実性の高い環境でも、柔軟にアプローチを提案できる方
・前例の少ない領域で、正解のない設計論点について選択肢と根拠を並べて議論を前に進められる方
応募概要
給与
990万円〜※年棒制
※契約社員・業務委託の場合は業務範囲により相談
勤務地
Office：東京都品川区西五反田2-23-1 ARZ五反田6階
雇用形態
正社員（契約社員や業務委託も相談可）勤務体系
所定労働時間：8時間フレックスタイム制（コアタイム10:00~15:00）
休日・休暇：
完全週休2日制
有給休暇（10日〜）