Enterprise MCP 게이트웨이 평가 키트
ID, 도구 변경, 리소스 제한, 독립적 승인 및 불확실한 쓰기에 대한 공급업체 중립적 테스트 계획입니다. 기능 레이블을 신뢰하는 대신 관찰을 기록하십시오.
재현 가능한 평가 준비
일회용 작업 공간, 별도의 요청자 및 승인자 ID, 합성 리소스를 사용하세요. 게이트웨이 릴리스, 클라이언트/버전, 프로토콜, 정책 개정, 스키마 다이제스트 및 UTC 날짜를 기록합니다. 업스트림 전송 횟수를 계산합니다. HTTP 상태만으로는 부족합니다.
- 엔지니어링 자원을 허용합니다. 독립적인 쓰기 승인이 필요합니다. 성공적인 기준 읽기를 설정합니다.
- 읽기 예: {"resource":"engineering/handbook"}이 포함된 sandbox__read_document. 쓰기 예: {"resource":"engineering/roadmap","title":"Evaluation"}이 포함된 sandbox__create_ticket. 다른 게이트웨이에 대해 동등한 테스트 데이터를 매핑합니다.
6가지 제어 테스트 실행
각 테스트 전에 성공적인 기준을 재설정합니다. 결정 사항, 전송 횟수, 감사 결과를 기록합니다.
- 철회: 읽기, 멤버십 철회, 기존 세션을 사용하여 반복. 거부가 예상되며 추가 전송이 없습니다. 다시 연결해도 액세스가 복원되어서는 안 됩니다.
- 스키마 변경: 쓰기를 승인하고, 검토된 스키마/버전을 변경하고, 다시 시도하세요. 새로운 리뷰를 기대하세요. 부실한 권한 실행이 없습니다.
- 리소스: engineering/handbook을 finance/payroll로 바꾼 뒤 매핑되지 않은 리소스도 요청해 보세요. 두 요청 모두 전송 전에 거부되어야 합니다.
- 독립적 승인: 자체 승인을 거부합니다. 별도의 승인자가 쓰기를 승인합니다. 동일한 재시도가 한 번 실행됩니다. 변경된 인수와 소비된 권한 부여는 다른 쓰기를 승인해서는 안 됩니다.
- 만료: 새로운 쓰기를 허용하고, 만료를 지나서 고정기 시계를 전진시키고, 변경하지 않고 재시도합니다. 전송 및 새로운 승인을 기대하지 마십시오.
- 불확실성: 픽스처 쓰기를 커밋하고 해당 응답을 삭제합니다. 불확실한 결과가 예상되며 자동 반복이 없습니다. 재시도하기 전에 테스트 데이터를 조정하세요.
증거를 기록하고 결정하라
테스트 당 사본: ID; UTC 날짜; 연산자; 버전; 고정/정책 개정; 설정; 합성 요청; 예상/관찰된 결정; 이전/이후 전송 횟수; 감사 ID/결과 합격/실패/확인되지 않음; 증거 위치; 제한 사항; 대청소.
자주 묻는 질문
공개 시뮬레이터가 배포 호환성을 입증합니까?
아니요. 이는 공급자 실행 없이 세 가지 고정된 결정을 보여줍니다. 의도한 각 배포에 대해 6가지 테스트를 모두 실행합니다. 이는 벤치마크나 고객 증거가 아닌 종합적인 사례입니다.