GPT-6 Astra的最佳测试结果是多少？
根据ARC-AGI-3排行榜页面的信息，OpenAI的GPT-6 Astra在Semi-Private测试中，使用Standard harness时，最佳观测成绩为62.7%；改用Provider Adapter harness后，最佳观测成绩提升至99.9%。
需要注意的是，页面给出的具体成绩为99.9%，而不是其他表述中可能出现的更高数值。本文以来源页面列出的“最佳观测结果”为准。
Standard harness与Provider Adapter harness有什么区别？
Standard harness如何帮助模型完成测试？
Standard harness允许模型在测试环境中保留自己主动选择的笔记，并在后续过程中继续使用这些笔记。简单来说，模型可以把认为重要的信息记录下来，之后再回头查看，用于延续此前的工作。
在这种配置下，GPT-6 Astra的最佳观测成绩为62.7%，对应的推理级别为最高推理，测试成本为26,098美元。
Provider Adapter harness为什么能够取得更高成绩？
Provider Adapter harness会在不同请求之间保留模型的不透明推理状态，并通过压缩机制支持更长的对话。这样一来，模型能够重新利用此前已经完成的工作，而不必每次都从头开始处理。
在这一配置下，GPT-6 Astra的最佳观测成绩达到99.9%，推理级别为高推理，测试成本为18,817美元。与Standard harness相比，这一结果在成绩和成本两个方面都呈现出明显差异：成绩更高，来源页面列出的成本也更低。
这次测试包含哪些信息？
来源页面显示，GPT-6 Astra共涉及12种harness配置。排行榜还提供了GPT-6 Astra在Provider Adapter配置下的Verified scores，并按照不同推理级别，展示各项基准测试中任务与环境的通过或失败情况。
这意味着，页面并不只是给出一个总成绩，还记录了模型在不同推理等级以及不同测试任务中的表现。读者可以通过这些信息，进一步了解模型在具体任务和环境中的通过情况。
如何理解GPT-6 Astra在两种配置下的成绩差异？
从来源数据看，测试工具配置会影响模型最终表现。在Standard harness下，模型主要依靠主动保存的笔记延续工作；在Provider Adapter harness下，系统则进一步保存推理状态，并使用压缩机制支持更长的交互过程。
因此，同一个模型在不同harness配置下，可能出现完全不同的测试结果。GPT-6 Astra从Standard harness下的62.7%，提升到Provider Adapter harness下的99.9%，说明测试结果不仅与模型本身有关，也与模型能否保留和复用此前工作有关。
这项结果应该关注什么？
这次结果最值得关注的地方，不只是99.9%的成绩，还在于成绩背后的运行方式。Provider Adapter harness通过保留不透明推理状态和压缩较长对话，使模型能够继续利用过去完成的工作；而Standard harness则依赖模型自行保留笔记。
换句话说，模型能否记住、整理并继续使用此前的信息，可能会直接影响复杂测试中的最终表现。对于需要多轮处理、持续推理和反复调用的任务来说，如何保存工作状态，已经成为测试配置中的重要部分。
结语：成绩之外，测试方式同样重要
GPT-6 Astra在ARC-AGI-3中的两组结果，清楚展示了不同harness配置带来的差异：Standard harness下的最佳观测成绩为62.7%，Provider Adapter harness下则达到99.9%。来源页面同时列出了推理级别、测试成本以及不同任务和环境中的通过情况，为理解这次测试提供了更多线索。
我认为：一项测试的数字固然醒目，但数字背后的条件更值得看清。若只盯着最终百分比，容易把复杂的测试过程压缩成一个简单结论；只有同时关注模型如何保存工作、如何延续推理，以及测试配置如何发挥作用，才能真正理解这99.9%究竟意味着什么。
#AI日报
© 版权声明
文章版权归作者所有，未经允许请勿转载。
