核心思路:不用 LLM 做裁决
开源项目 Assure 提供了一种验证 AI Agent 是否真正完成任务的方案:让 Agent 在一次性的 SQLite 数据库和文件工作区中运行,所有工具调用都经过一个应用策略的网关,最终结果由人类编写的确定性断言来检查。整个裁决过程完全不涉及任何大模型,引擎也不需要 API key。
Agent 的话只是“不可信声明”
在 Assure 的架构中,Agent 的所有陈述都被记录为不可信的声明(untrusted claims),系统会将这些声明与网关实际观察到的行为进行比对,但它们永远不会决定最终结果。项目的 DESIGN.md 文档详细描述了评估方法、架构设计、信任边界、数据模式与聚合规则。
CI 全程零模型调用
项目的 ci.yml 工作流在每次 push 和 pull request 时运行,支持 Python 3.11 和 3.12,全程不需要 API key、不调用任何模型。测试覆盖 mock agent、对接本地 fake API 的 bridge、以及基于 SDK 的 MCP agent,并对 suites/ 目录下每个文件运行 check-suite,同时校验生成的长任务规格与 specs/long/build.py 一致。任何破坏裁决结果、或让任务无法分辨对错的改动,都会导致构建失败。
附赠实时基准测试
项目还包含一个 bench.yml 工作流,用于运行实时基准测试,方便开发者持续衡量 Agent 的真实表现。
项目地址:https://github.com/mgasparin67-cmd/Agent-verification_Assure
© 版权声明
文章版权归作者所有,未经允许请勿转载。







