AIエンジニアリング
AIエンジニアリング
本番環境で動かすことを前提に設計する生成AI、エージェント、検索基盤。評価、コスト管理、障害時の挙動は、本番リリース後に追加するものではなく最初から組み込みます。
AIの取り組みの多くは、説得力のあるデモと、運用チームが引き受けてもよいと考えるシステムとの間で止まります。原因がモデルであることは稀です。誰も計測していない検索精度、データ層ではなくプロンプトに書かれた権限、障害時の経路が定義されていないエージェント、そして3か月目にはじめて姿を現す推論コスト。Xcelerates はまずそこを設計します。
成果として残るもの
- ノートブックではなく、お客様の環境で動作するシステム
- 評価セットと、それを実行する仕組み
- 品質・レイテンシ・リクエスト単位コストの計測
- 外部モデル呼び出しごとの、文書化された障害時の挙動
- 運用を担当するチームに向けて書かれた引き継ぎドキュメント
提供領域
対応する範囲
- 生成AIとLLM（大規模言語モデル）の組み込み
- 既存のプロダクトや業務フローの中に言語モデルを組み込みます。コンテキスト設計、スキーマ検証を伴う構造化出力、提供元が遅延・停止した場合の挙動、そして本番リリース前に見通せるリクエスト単位のコストモデル。
- AIエージェントとマルチエージェント構成
- 計画し、ツールを呼び、互いに処理を引き継ぐエージェント。状態の明示、リトライ回数の上限、冪等なツール呼び出し、そして取り消せない操作の手前に置く人の承認。
- AIコパイロットと業務アシスタント
- お客様のデータと既存の権限モデルの上で動く業務特化のアシスタント。契約書レビュー、社内ナレッジ、業務レポート、開発支援など。実際に誰かが行っている業務に範囲を絞ります。
- RAG（検索拡張生成）と社内ナレッジ基盤
- 社内コンテンツに対する検索。アクセス制御はプロンプトで依頼するのではなく、検索の時点で適用します。チャンク分割の方針、ハイブリッド検索、再ランキング、そして読み手が元の文書までたどれる引用。
- インテリジェント自動化
- すでに事業を動かしている既存システムに、モデルによる処理を組み込みます。地味な部分も正しく扱います。キューイング、リトライ、デッドレター、再実行、そしてシステムが何をどう判断したかの監査証跡。
- 評価とモニタリング
- 本番リリース前に実際の事例からオフラインの評価セットを用意し、リリース後はオンラインで計測します。プロンプトやモデルの変更を、議論ではなく基準に対して測れるようにするためです。
アーキテクチャ
設計レビューで描くのと同じ形で示した、一つのシステム。
検索を根拠とするエージェントと、取り消せない操作の手前に置く承認。すべてのシステムにすべての段階が必要なわけではありません。ただし、ここにある各段階は、省いた場合に特定の予測可能な障害を引き起こすために存在しています。
検索を根拠とするAIエージェントのアーキテクチャ図です。3つのレーンで構成されています。
リクエスト経路：リクエストは入力ガードを通過します。ここでペイロードを検証し、プロンプトインジェクションを検査します。次にプランナーが2つの経路を選択します。検索経路では、呼び出し元のアクセス権限で絞り込んだうえでキーワード検索とベクトル検索を併用し、結果を再ランキングして上位を返します。recall@k と引用の妥当性はここで計測します。ツール経路では引数をスキーマに対して検証し、冪等性キーを付与します。両経路は合成処理に入り、取得した文書を根拠として引用付きの回答を構成します。
アクション経路：出力チェックが、根拠、スキーマ適合、ポリシーを検証してから外部へ出します。取り消せる操作はそのまま実行に進みます。取り消せない操作は先に人による承認へ回り、承認された場合にのみ実行されます。実行後、応答が返されます。
観測レーン：各段階はトークン数、コスト、レイテンシ、引用した文書、ツールの実行結果を含むトレースを出力します。トレースは評価セットに送られ、プロンプトやモデルを変更した際はリリース前にその評価セットに対して再実行します。