AIMockでAIエージェントのテストを決定論的にする — LLM・ベクトルDB・MCP・A2Aを1つのポートでモックする

AIMockはLLM・ベクトルDB・MCP・A2Aを1つのポートでモックします。エージェントのテストスイートは3秒以内に完了し、毎回同じ出力を返します。

更新

黒いカードに白のCopilotKitのロゴタイプと、青と紫の凧に青い波形の尾が付いたマーク
目次

はじめに

LLMを使うアプリケーションのテストには厄介な問題があります。同じプロンプトを送っても、毎回微妙に違うレスポンスが返ってくるのです。月曜に通ったテストが、コードは変わっていないのに火曜に落ちます。モデルが非決定論的だからです。

さらに2026年のエージェントアプリは、LLMだけでなくベクトルDB(RAG)、MCPツール、A2Aプロトコルによるエージェント間通信など、1回のリクエストで6〜7個のサービスに触れることも珍しくありません。それぞれのサービスをどうモックするかが課題になります。

CopilotKitが2026年4月にリリースしたオープンソースのモックサーバー「AIMock」は、これらすべてを1つのポートでモックします。この記事で構築するテストスイートは、モック化されたLLM・ベクトルDB・A2Aに対して18個のテストを2.35秒で実行し、毎回まったく同じ出力を返します。

この記事ではまずそのテストスイートを構築します。次にllmock CLIで実際のフィクスチャを録画し、LLMockのカオスAPIで障害を注入します。

AIMockとは何か

AIMockは、AIアプリが通信するすべてのサービスをモックするためのnpmパッケージです。

  • 11以上のLLMプロバイダーに対応(OpenAI、Claude、Gemini、Bedrock、Azure、Vertex AI、Ollama、Cohereなど)
  • MCP JSON-RPC 2.0のフルサポート
  • A2Aエージェントカードの探索とSSEストリーミング
  • ベクトルDB(Pinecone、Qdrant、ChromaDB)のモック
  • カオステスト(500エラー、不正JSON、ストリーム途中切断の注入。手動サーバーと setChaos() API両方)
  • ゼロ依存、Node.jsの組み込みモジュールのみ

「1つの設定ファイル、1つのポートで、AIスタック全体をモックする」というコンセプトです。

類似ツールとの位置づけ

AIMockの競合は何かと調べてみましたが、実はこのニッチには直接の競合がほぼ存在しません。

ツールフォーカスAIMockとの重複
Keploy実トラフィック録画→テスト自動生成。汎用API向けAI固有プロトコル(MCP、A2A、ストリーミングSSE)非対応
VCR.py / Polly.js古典的なHTTPリクエスト録画・再生LLMモックに使えるが、ツールコール等のAI固有機能なし
Portkey / HeliconeLLMゲートウェイ。キャッシュ・リプレイ可能プロダクション向け。フォールト注入やMCPモックなし

エージェントアプリをMCP・A2A含めてテストしたい場合、現時点でAIMockが唯一の選択肢と言えます。単純にOpenAI APIのモックだけが必要なら、VCR系のHTTPリプレイで十分です。

フィクスチャの録画・再生はなぜ重要か

AIMockの中核機能の一つが「Record & Replay」です。実APIのレスポンスを録画し、テスト時にそのまま再生する仕組みです。

Record & Replayが解決する問題:

# 月曜: テスト通る
assert response.includes("SQL injection risk") ✅
# 火曜: 同じコード、同じプロンプト、OpenAIが言い換えた
assert response.includes("SQL injection risk") ❌
# "potential SQL vulnerability" が返ってきた

フィクスチャを使えば、LLMの呼び出しが純粋関数のように振る舞います。同じ入力に対して、毎回同じ出力です。

観点フィクスチャなしフィクスチャあり
コストテスト実行ごとに実APIコールゼロ
速度LLMコールあたり2〜30秒1ms未満
決定性毎回異なる出力完全に同一
CI安定性ネットワーク・レートリミット・API変更で不安定安定
エッジケース再現不可能永続的にキャプチャ

CI/CDでモックを使うのは「逃げ」ではないか?

モックを使ったCIで検証するのはコードロジックです。プロンプトの品質を確かめるには、引き続き実APIが必要です。

テスト対象実APIが必要?
JSONパーサーがこのレスポンス形状を処理できるか?No。フィクスチャで十分
リトライロジックが500エラーで動作するか?No。カオス注入の方が効果的
プロンプトが良い出力を生成するか?Yes。モックでは不可能
UIがレスポンスを正しくレンダリングするか?No。フィクスチャで十分

実務では2層のCIパイプラインが最適なパターンです。

  • 全PR: モック化された高速テスト(コードロジックの検証)
  • ナイトリー/週次: 実APIを使った統合テスト(ドリフト検知、プロンプト検証)

AIMockのドリフト検知機能がこれを補完します。CIで毎日、SDKの型定義・実APIレスポンス・AIMockの出力を三方向比較し、プロバイダーのAPI変更をユーザーより先にキャッチします。

デモの構築: 購入代行エージェント

AIMockの主要機能を実際に使い、テストを書いてみました。題材は「購入代行エージェント」です。

アーキテクチャ

1 つのエージェント、4 回の呼び出し、3 つのモック中央のバイヤーエージェントの枠に、検索・計画・セラーエージェントへの照会・評価という 4 つの番号付きステップが並ぶ。ステップ 1 は左の VectorMock を、ステップ 3 は左の自作セラーエージェントモックを呼び、ステップ 2 と 4 はどちらも右の LLMock を呼ぶ。VectorMock と LLMock は AIMock 由来、セラーエージェントのモックは自作。最後にエージェントがユーザーへ推薦を返す。ユーザー:「旅行用の軽量ノート PC、予算 1,200 ドル」バイヤーエージェント(TypeScript)1検索過去のレビューと商品知識を取得2計画LLM が検索戦略を組み立てる3セラーエージェントに照会A2A で条件に合う商品を問い合わせ4評価LLM が返ってきた提案を比較VectorMockAIMock・Pinecone 互換セラーエージェントのモック自作・A2A v1.0LLMockAIMock・OpenAI /v1ユーザーに推薦を返す

1回のリクエストで、エージェントは外部を4回呼び出します。呼び出し先はすべてlocalhost上のモックです。

図の呼び出しは、すべて次のいずれかのモックに届きます。

  • LLMock: OpenAI APIのモック(@copilotkit/aimock の LLMock クラス)
  • VectorMock: Pinecone互換のベクトルDBモック(VectorMock クラス)
  • A2Aモック: http.createServer で自作したA2Aセラーエージェント

プロジェクト構成

aimock-a2a-demo/
├── src/
│ ├── buyer-agent/
│ │ ├── index.ts # メインのBuyerAgentオーケストレーター
│ │ ├── a2a-client.ts # A2Aプロトコルクライアント
│ │ ├── knowledge-base.ts # ベクトルDB / RAGレイヤー
│ │ └── reasoner.ts # LLM推論
│ └── types/
│ ├── a2a.ts # A2Aプロトコル型定義
│ └── product.ts # 商品関連の型
├── tests/
│ ├── setup.ts # AIMockのセットアップ
│ ├── buyer-agent.test.ts # メインテストスイート
│ └── chaos.test.ts # カオステスト
├── fixtures/llm/ # 録画されたLLMレスポンス
├── aimock.json # AIMock設定ファイル
└── package.json

Step 1: LLMockのセットアップ

LLMockは systemMessage や userMessage のパターンマッチでフィクスチャを登録します。

tests/setup.ts
import { LLMock, VectorMock } from "@copilotkit/aimock";
const llmock = new LLMock({ port: 0 }); // ランダムポート
// システムプロンプトの内容でフィクスチャを振り分け
llmock.on({ systemMessage: "evaluating product offers" }, {
content: JSON.stringify({
topPickIndex: 0,
reasoning: "The MacBook Air M4 offers the best combination...",
confidence: 0.92,
}),
});
llmock.on({ systemMessage: "purchasing concierge" }, {
content: JSON.stringify({
refinedQuery: "ultrabook laptop under 1.3kg...",
priorities: ["weight under 1.3kg", "battery life 15+ hours"],
priceRange: { min: 900, max: 1300 },
}),
});
await llmock.start();
process.env.OPENAI_BASE_URL = `${llmock.url}/v1`;
process.env.OPENAI_API_KEY = "mock-key";

onMessage() はユーザーメッセージのテキストのみにマッチします。同じアプリ内でLLMを複数回呼び出す場合(検索戦略の立案とオファー評価で2回など)、ユーザーメッセージの内容が類似していると意図しないフィクスチャにマッチすることがあります。2回の呼び出しはどちらも同じ購入リクエストをユーザーメッセージに含みますが、システムプロンプトはそれぞれ異なります。そのため、on({ systemMessage: "..." }) を使ってシステムプロンプトの内容で振り分けるのが確実です。

ユーザーメッセージでのマッチとシステムプロンプトでのマッチ2 つのパネルが同じ 2 回の LLM 呼び出しを示す。上の onMessage() のパネルでは、どちらの呼び出しも同じユーザーメッセージを持つため、呼び出し 1 が誤ってオファー評価のフィクスチャに送られ、検索戦略のフィクスチャには一度もマッチしない。下の on({ systemMessage }) のパネルでは、呼び出し 1 が「purchasing concierge」、呼び出し 2 が「evaluating product offers」を持つため、それぞれが自分のフィクスチャに届く。onMessage():ユーザーメッセージでマッチLLM 呼び出し・比較されるテキスト返されるフィクスチャ呼び出し 1・検索戦略の立案"I need a lightweight laptop…"呼び出し 2・オファーの評価"I need a lightweight laptop…"on({ systemMessage }):システムプロンプトでマッチLLM 呼び出し・比較されるテキスト返されるフィクスチャ呼び出し 1・検索戦略の立案"…purchasing concierge…"呼び出し 2・オファーの評価"…evaluating product offers…"検索戦略のフィクスチャ一度もマッチしないオファー評価のフィクスチャ両方の呼び出しに応答誤ったフィクスチャどちらのユーザーメッセージにも同じリクエストが入るため、先に登録したフィクスチャが両方の呼び出しに応答する。検索戦略のフィクスチャ呼び出し 1 に応答オファー評価のフィクスチャ呼び出し 2 に応答

2回の呼び出しはユーザーメッセージが同じなので、区別できるのはシステムプロンプトだけです。

LLMockは最初にマッチしたフィクスチャを返すため、より具体的なパターンを先に登録し、キャッチオール(onMessage(/.*/))を最後に登録します。

Step 2: VectorMockのセットアップ

VectorMockはPinecone互換のAPIを提供します。

tests/setup.ts
const vectorMock = new VectorMock({ port: 0 });
vectorMock.addCollection("product-knowledge", { dimension: 1536 });
// 静的な結果を登録 — 毎回同じ結果が返る
vectorMock.onQuery("product-knowledge", [
{
id: "review-macbook-air",
score: 0.94,
metadata: {
brand: "Apple",
model: "MacBook Air M4",
text: "MacBook Air M4: 1.24kg, 18hr battery life...",
},
},
// ... 他のエントリ
]);
await vectorMock.start();

QueryResult 型には text フィールドがありません。テキストデータは metadata.text に格納し、アプリ側で m.metadata?.text として取得する必要があります。

また、LLMockの mount() を使えば、VectorMockを同じポートにマウントすることも理論上は可能です。ただし mount() はリクエストを渡す前にパスのプレフィックスを取り除かないため、VectorMockは別ポートで起動する方が確実に動作します。

VectorMock のマウントと別ポートでの起動2 本のレーンがある。マウントのレーンでは、ベクトル DB クライアントがポート 5555 の LLMock に /vector/query を送り、LLMock はそれを /vector/query のまま VectorMock に渡すため、どのエンドポイントにも一致しない。別ポートのレーンでは、クライアントが /query を VectorMock に直接送り、Pinecone 互換エンドポイントに一致する。マウント:llm.mount("/vector", vector)ベクトル DB クライアント別ポートで起動ベクトル DB クライアントLLMockポート 5555VectorMock/vector の下にマウント/vector/query/vector/query✗ VectorMock が受け取るのは /vector/query で、どのエンドポイントにも一致しないVectorMock専用のポート/query✓ VectorMock が受け取るのは Pinecone 互換エンドポイントの /query

マウントすると /vector プレフィックスがそのままVectorMockに届きます。別ポートで起動すれば、クエリのパスがエンドポイントに一致します。

Step 3: A2Aプロトコルのモック

A2AはGoogleとLinux Foundationが策定した、エージェント間通信のオープンプロトコルです(v1.2、150以上の組織が参加)。

A2Aは組織をまたいだエージェント通信のためのプロトコルです。自社のエージェントが他社のエージェント(例: 決済処理エージェント、物流エージェント)と通信するケースです。同じアプリ内のサブエージェントにA2Aを使うのはオーバーキルで、関数呼び出しで十分です。

今回のデモでは、バイヤーエージェントとセラーエージェントの間にA2Aを使います。これは異なる組織のエージェントが通信する想定なので、A2Aの正当なユースケースです。

A2A で対話するバイヤーエージェントとセラーエージェント自社のバイヤーエージェントと家電ショップのセラーエージェントが、組織の境界をはさんで向かい合う。バイヤーはまずセラーに何ができるかを尋ね、商品検索のスキルが載ったエージェントカードを読む。次に SendMessage で 1.3 kg 以下、900〜1,300 ドルの旅行用ノート PC を求め、セラーは MacBook Air M4 を含む提案を parts に入れたメッセージで返す。バイヤーは LLM で提案を比較し、ユーザーに MacBook Air M4 を推薦する。組織の境界HTTP 上の A2Aバイヤーエージェント自社セラーエージェント家電ショップ何ができますか?GET agent-card.json商品検索ができます。Agent Card · skills1.3 kg 以下の旅行用ノート PC で、900〜1,300 ドルのものは?SendMessage提案はこちらです:MacBook Air M4 などresult.message · offersLLM で提案を比較→ ユーザーに MacBook Air M4 を推薦

バイヤーエージェントとセラーエージェントは別々の会社に属し、両者のやり取りはすべて HTTP 上の A2A のリクエストとレスポンスです。

A2Aモックは http.createServer で自作しました。A2A v1.0プロトコルに準拠しています。

tests/setup.ts
const server = createServer((req, res) => {
// Agent Card探索: GET /.well-known/agent-card.json (v1.0)
if (req.url === "/.well-known/agent-card.json" && req.method === "GET") {
res.writeHead(200, { "Content-Type": "application/json" });
res.end(JSON.stringify({
name: "Mock Electronics Seller",
skills: [{ id: "product-search", name: "Product Search", ... }],
...
}));
return;
}
// JSON-RPC: POST / — SendMessage (v1.0)
if (req.method === "POST") {
const rpc = JSON.parse(body);
if (rpc.method === "SendMessage") {
res.end(JSON.stringify({
jsonrpc: "2.0", id: rpc.id,
result: {
message: {
role: "ROLE_AGENT",
parts: [{ data: { offers: mockOffers } }],
messageId: `reply-${rpc.id}`,
contextId: rpc.params?.message?.contextId,
},
},
}));
}
}
});

バイヤーエージェントのA2Aクライアントは、このモックとも実際のA2A v1.0エージェントとも同じように通信します。実エージェントに向けるときに変わるのはURLだけです。GoogleのCodelabのエージェントをCloud Runで動かして実際に接続した内容は、別の記事にまとめています。

Step 4: テストの実行

18個のテストケースを用意しました。すべて3秒以内で完了します。テストは次の4つのグループに分かれます。

テストグループ件数確認していること
A2A: Seller Agent Discovery3バイヤーエージェントがセラーのエージェントカードを読み、SendMessage でオファーを受け取れる
Vector DB: Knowledge Base3同じクエリには同じ結果が返り、到達不能なサーバーには空の結果が返る
Integration: Full Purchasing Flow2クエリ → RAG → LLM → A2A → LLM の一連の流れが、RAGありでもなしでも動く
Chaos と Resilience10ベクトルDBとLLMを意図的に失敗させ、エージェントがテストの想定どおりに対処する
$ pnpm test
Test Files 2 passed (2)
Tests 18 passed (18)
Duration 2.35s

決定性:

このテストは同じ入力でナレッジベースに2回クエリし、2つの結果が同一であることを確認します。VectorMockなら毎回成り立ちますが、実際のPineconeにはこの保証がありません。

tests/buyer-agent.test.ts
test("same query twice returns identical results (determinism proof)", async () => {
const results1 = await kb.query("laptop");
const results2 = await kb.query("laptop");
// 実際のPineconeでは保証されない
expect(results1).toEqual(results2);
});

グレースフルデグラデーション:

このテストはナレッジベースの接続先を、何も待ち受けていないポートに向けます。RAGの呼び出しはすべて失敗し、それでもエージェントがLLMとA2Aだけで推薦を返すことを確認します。このようにRAGを好きなときに落とせるのは、ホスティングされたPineconeインデックスにはできないことです。

tests/buyer-agent.test.ts
test("works without RAG knowledge (graceful degradation)", async () => {
const agent = new BuyerAgent({
sellerAgentUrl: sellerUrl,
knowledgeBase: {
apiKey: "mock-key",
baseUrl: "http://localhost:1", // 到達不能 → フォールバック
indexName: "product-knowledge",
},
ragTimeoutMs: 500,
});
const result = await agent.findProduct({
query: "I need a lightweight laptop for travel",
});
// RAGが落ちてもエージェントはLLM + A2Aで動作する
expect(result.topPick).toBeDefined();
expect(result.knowledgeUsed).toHaveLength(0);
});

llmock CLIでフィクスチャを録画する

記事の前半で「Record & Replay」の概念を説明しましたが、実際にやってみました。

llmockの起動

@copilotkit/aimock パッケージには llmock というCLIバイナリが同梱されています。--record フラグで録画モードのプロキシサーバーとして起動します。

ターミナルウィンドウ
# llmockを録画モードで起動(ポート4010でリッスン)
pnpm mock:record
# → llmock --record --provider-openai https://api.openai.com -f ./fixtures/llm

アプリをllmock経由で実行

OPENAI_BASE_URL を llmock に向けるだけで、アプリのOpenAI SDK呼び出しはすべてllmockに送られます。アプリはこれまでどおり .env からAPIキーを読み込んでリクエストに付け、llmockはそのリクエストをキーごとそのままOpenAIに転送し、レスポンスをフィクスチャとして録画します。

ターミナルウィンドウ
OPENAI_BASE_URL=http://localhost:4010/v1 \
SELLER_URL=https://burger-agent-XXXXXXXXXX.us-central1.run.app \
pnpm dev

録画されたフィクスチャ

fixtures/llm/recorded/ に以下のようなJSONが保存されます。

{
"fixtures": [{
"match": {
"userMessage": "User request: \"I need a lightweight laptop...\"",
"model": "gpt-4o-mini",
"turnIndex": 0,
"hasToolResult": false
},
"response": {
"content": "{\"refinedQuery\": \"lightweight travel laptop under $1200\", ...}"
},
"metadata": {
"systemHash": "a11524e7"
}
}]
}

match のフィールド(userMessage、model、turnIndex)がマッチング条件になります。次回以降、同じ条件のリクエストが来たらOpenAIを呼ばずにこのレスポンスを返します。

Record & Replayの実感

  1. pnpm mock:record でプロキシ起動
  2. OPENAI_BASE_URL=http://localhost:4010/v1 pnpm dev で普通にアプリを動かす
  3. fixtures/llm/recorded/ にフィクスチャが自動保存
  4. 次回以降は pnpm mock:start でフィクスチャを再生するだけ

コードの変更は一切不要。OPENAI_BASE_URL の向き先を変えるだけです。

LLMockのカオス注入機能を試す

Step 4のChaosとResilienceのグループには、setChaos() と nextRequestError() を使うテストが含まれています。これらはLLMockに組み込まれたプログラマティックなカオス注入APIを使っています。Chaos: Vector DB failures と Chaos: LLM failures のテストが500エラーやタイムアウトを再現するために手動でHTTPサーバーを立てているのに対し、こちらはテストサーバーを自作せずに済みます。ベクトルDBのテストはVectorMockにカオスAPIがないため手動サーバーしか選択肢がありませんが、LLMのテストは最初から setChaos() を使うこともできました。

setChaos():確率的フォールト注入

setChaos() で全リクエストに対する障害確率を設定します。

tests/chaos.test.ts
test("setChaos({ malformedRate: 1 }) — every response is garbled", async () => {
const mock = new LLMock({ port: 0 });
// 正常なフィクスチャを登録(/.*/で全メッセージにマッチ)
mock.onMessage(/.*/, {
content: '{"refinedQuery": "test", "priorities": [], "priceRange": {"min": 0, "max": 100}}',
});
// カオス設定: 100%の確率でレスポンスを破壊
mock.setChaos({ malformedRate: 1.0 });
await mock.start();
process.env.OPENAI_BASE_URL = `http://localhost:${mock.port}/v1`;
const reasoner = new Reasoner("gpt-4o-mini");
// フィクスチャはマッチするが、カオスが応答を壊す
await expect(
reasoner.buildSearchStrategy("laptop", [])
).rejects.toThrow();
await mock.stop();
});

ChaosConfig では障害の種類ごとに確率を指定します。

パラメータ効果フィクスチャ不要
dropRate500エラーを返すはい
malformedRate{malformed json: <<<chaos>>>} を返すいいえ(要マッチ)
disconnectRateTCP接続を途中切断するいいえ(要マッチ)

注意点として、onMessage("*") はワイルドカードではなくリテラル文字列 * としてマッチします。全メッセージにマッチさせるには正規表現 /.*/ を使います。

clearChaos():カオスの解除

clearChaos() でカオス設定を解除すると、正常なフィクスチャ応答に戻ります。障害からの復旧をテストするのに便利です。

tests/chaos.test.ts
test("clearChaos() restores normal operation", async () => {
const mock = new LLMock({ port: 0 });
mock.onMessage(/.*/, { content: validJson });
mock.setChaos({ malformedRate: 1.0 });
await mock.start();
// ... env setup ...
const reasoner = new Reasoner("gpt-4o-mini");
// カオスON — 失敗する
await expect(
reasoner.buildSearchStrategy("laptop", [])
).rejects.toThrow();
// カオス解除 — 正常に動作する
mock.clearChaos();
const strategy = await reasoner.buildSearchStrategy("laptop", []);
expect(strategy.refinedQuery).toBe("laptop"); // ✓ 正常なJSON
});

nextRequestError():ワンショットエラー注入

nextRequestError() は次の1リクエストだけにエラーを返し、その後は自動的に消費されます。「1回だけ失敗して、リトライで復旧する」シナリオのテストに最適です。

tests/chaos.test.ts
test("nextRequestError(400) — single request fails, next succeeds", async () => {
const mock = new LLMock({ port: 0 });
mock.onMessage(/.*/, { content: validJson });
// ワンショット: 次の1リクエストだけ400を返す
mock.nextRequestError(400, { message: "Bad Request" });
await mock.start();
// ... env setup ...
const reasoner = new Reasoner("gpt-4o-mini");
// 1回目: 400エラー
await expect(
reasoner.buildSearchStrategy("laptop", [])
).rejects.toThrow();
// 2回目: ワンショットが消費済み → 正常応答
const strategy = await reasoner.buildSearchStrategy("laptop", []);
expect(strategy.refinedQuery).toBe("laptop"); // ✓
});

OpenAI SDKは5xxエラー(500、503等)を自動リトライするため、ワンショットのエラーテストにはリトライされない400番台を使います。

テスト実行結果

$ pnpm test
Test Files 2 passed (2)
Tests 18 passed (18)
Duration 2.2s

どちらのアプローチも動作します。Chaos: Vector DB failures と Chaos: LLM failures のテストは手動で立てたHTTPサーバーを、setChaos() と nextRequestError() のテストはLLMockの組み込みカオスAPIを使っています。agent degrades gracefully はどちらにも属しません。LLMockのAPIを使う方がコードが少なく、意図が明確です。

まとめ

AIMockでLLM・ベクトルDB・A2Aのセラーエージェントをモックし、AIエージェントのテストスイートを構築しました。3秒以内に完了し、毎回同じ出力を返します。

AIMockが効果的なケース:

  • LLM + ベクトルDB + 複数サービスを組み合わせたエージェントアプリのテスト
  • CI/CDでの高速・低コスト・安定したテスト実行
  • フォールト注入による耐障害性の検証

AIMockが適さないケース:

  • OpenAI APIだけをモックしたい場合(VCR系のHTTPリプレイで十分)
  • プロンプトの品質を評価したい場合(モックでは不可能)

AIMock実装上の注意点:

  • onMessage() はユーザーメッセージのみにマッチ。on({ systemMessage }) でシステムプロンプトでの振り分けが可能
  • onMessage("*") はワイルドカードではなくリテラル * にマッチ。全メッセージにマッチさせるには onMessage(/.*/) を使う
  • フィクスチャの登録順序が重要(先にマッチしたものが返る)
  • VectorMockの QueryResult に text フィールドはない。metadata 内に格納する
  • VectorMockはLLMockとは別ポートで起動するのが安全
  • setChaos() の malformedRate と disconnectRate はフィクスチャのマッチが必要。dropRate のみフィクスチャ不要で動作する
  • OpenAI SDKは5xxエラーを自動リトライする。nextRequestError() でエラーをテストする場合は400番台を使う

参考リンク

この記事をシェア