Path
Eval Harness
Agent 评测系统的设计与实践，涵盖过程度量、artifact-based scoring、trace 分析与基础设施噪音控制。
-
1. 真正成熟的 Eval Harness，不会只盯着答案
post如果一个 eval harness 只能告诉你任务成败，却解释不了 agent 是否调用了正确能力、在什么环境里执行、为什么失败、为什么成功，那它给出的就不是系统性判断，只是一块分数牌。本文基于 LangChain 对 skills eval 的讨论，延展出我对 artifact-based scoring、invocation metrics、trace design、workflow eval 与评测组织学的完整理解。
-
2. Agent Benchmark 最容易误导人的，不是模型分数，而是基础设施噪音
post在 agentic coding eval 里，模型并不是唯一变量。资源 headroom、kill 语义、并发压力、网络状态和 sandbox 行为都会改变任务结果。如果这些条件不透明，排行榜上的小分差往往没有看起来那么能说明问题。本文基于 Anthropic 对 infrastructure noise 的分析，延展出我对 agent benchmark 可解释性、披露纪律、重复实验与系统级评测观的完整理解。