エンタープライズ MCP ゲートウェイ評価キット
ID、ツールの変更、リソースの制限、独立した承認、不確実な書き込みに対するベンダー中立のテスト計画。特徴ラベルを信頼するのではなく、観察を記録します。
再現可能な評価を準備する
使い捨てのワークスペース、個別の要求者 ID と承認者 ID、および合成リソースを使用します。ゲートウェイのリリース、クライアント/バージョン、プロトコル、ポリシー リビジョン、スキーマ ダイジェスト、UTC 日付を記録します。上流のディスパッチをカウントします。 HTTP ステータスだけでは不十分です。
- エンジニアリングリソースを許可します。独立した書き込み承認が必要です。成功したベースライン読み取りを確立します。
- 読み取りの例:sandbox__read_document に {"resource":"engineering/handbook"} を指定します。書き込みの例:sandbox__create_ticket に {"resource":"engineering/roadmap","title":"Evaluation"} を指定します。別のゲートウェイでは、対応するテストデータを割り当ててください。
6 つのコントロール テストを実行する
各テストの前に、成功したベースラインをリセットします。決定事項、リクエスト送信数、監査結果を記録します。
- 取り消し: 読み取り、メンバーシップを取り消し、既存のセッションを使用して繰り返します。拒否が予想され、追加のディスパッチはゼロです。再接続してもアクセスが復元されてはなりません。
- スキーマの変更: 書き込みを承認し、レビューされたスキーマ/バージョンを変更して、再試行します。新鮮なレビューを期待してください。古い権限の実行はありません。
- リソース: エンジニアリング/ハンドブックを財務/給与計算に変更し、次にマップされていないリソースに変更します。両方ともリクエスト送信前に拒否する必要があります。
- 独立した承認: 自己承認を拒否します。別の承認者が書き込みを許可します。同一の再試行は 1 回実行されます。変更された引数と使用済みの許可は、別の書き込みを許可してはなりません。
- 有効期限:変更操作を新たに承認し、テスト用の時刻を期限後に進めて、同じ内容で再実行します。リクエストは送信されず、改めて承認が必要になることを確認します。
- 不確実性: フィクスチャの書き込みをコミットし、その応答をドロップします。結果は不確実であり、自動的に繰り返されることはありません。再試行する前にフィクスチャと照合してください。
証拠を記録して判断する
テストごとのコピー: ID; UTC の日付。オペレーター;バージョン。フィクスチャー/ポリシーの改訂。設定;合成リクエスト。予想される/観察された決定。前後のディスパッチ数。監査 ID/結果。合格/不合格/未検証。証拠の場所。制限;掃除。
よくある質問
公開シミュレータは展開の互換性を証明しますか?
いいえ。これは、プロバイダーの実行を伴わない 3 つの固定決定を示しています。意図した展開ごとに 6 つのテストをすべて実行します。これらは総合的な例であり、ベンチマークや顧客の証拠ではありません。