第七章 变更与评估驱动
7.1 评估驱动开发
承前：第六章我们化解了数据安全质询，项目进入受控试点并稳步推进——脱敏验证还顺手给我们留下了第一个正式的评估集和第一条基线。而这一章，剧情要迎来本项目最大的一次人事地震：董事会任命了一位新的数字化总监，空降接管项目。他看了两周材料后约谈你，第一句话是："方向不对。我不需要你们再提建议了，我要的是自动执行。"一位新老板、一套新标准、一个几乎推翻重来的指令——靠什么接？靠的不是口才，是评估。这一章的核心武器，就是评估驱动开发（Eval-Driven Development）：先定义"什么叫好"，再谈"怎么做到"。
7.1.1 先定义"什么叫好"，再谈"怎么做到"
软件工程里有句老话：不能度量，就不能管理。AI 项目把这句话推到了极端——因为大模型的行为是概率性的，你不定义"好"的标准，就永远不知道这次改动是变好了还是变坏了。
传统软件的"好"由测试定义：单元测试、集成测试，断言明确，通过即绿。AI 系统没法照搬——同一个 prompt 跑两次输出都可能不同，"断言输出等于某字符串"毫无意义。于是很多团队的实际状态变成：改动靠感觉，效果靠 demo，回归靠用户投诉。demo 时效果惊艳，上线两周悄悄劣化，没人知道是模型升级、数据漂移还是某次 prompt 调整引起的——没有评估体系的 AI 项目，每一次改动都是在黑暗里扔飞刀。
评估驱动开发把这个局面反转过来：把"什么叫好"写成机器可判定（或可低成本人工判定）的用例集合，先于功能开发存在，并伴随系统全生命周期。它的位置之于 Agent 项目，就像测试之于传统软件——但权重更高，因为 AI 系统的回归不是"可能发生"，是"必然持续发生"。
为什么必然？三个不可控的输入源：模型厂商持续升级模型（行为漂移）；客户数据持续变化（分布漂移）；业务方持续提需求（变更注入）。三个源头你一个都拦不住。你能做的只有一件事：每次变化发生时，用一把固定的尺子重新量一遍。
7.1.2 评估驱动的三个作用：对齐、防回退、量化进步
评估体系在项目里同时干三件事，缺一不可：
作用一：对齐预期。 "好"的定义如果不落在纸面上，就永远存在于每个人的脑子里——而且是不同的版本。业务方觉得"好"是话术感人，安全部门觉得"好"是绝不越权，一线运营觉得"好"是别让我多干活。第 3 章的北极星指标解决了"值不值"的对齐，评估集解决"行不行"的对齐：把每类干系人心里的"好"翻译成可判定的用例。沙盘里这件事的直接受益是：跟新任数字化总监的第一次交锋，我们没吵理念，直接把 120 条评估用例和当前通过率摊在桌上——分歧只有在具体用例上才可能被收敛，在形容词上只会被放大。
作用二：防止回退。 这是评估集最日常的价值。系统是活的：模型升级了、CRM 加字段了、同事"顺手优化"了一版 prompt——任何一环都可能让上周还正确的东西这周悄悄坏掉。冻结的评估集就是回归测试：每次改动全量跑一遍，分数比上一次低了就亮红灯。没有它，你甚至没有"回退"这个概念——因为根本没有记录过"之前是什么水平"。
作用三：量化进步。 客户花钱买的是改善，改善需要证据。评估分数的时间序列就是最硬的交付证据：从试点通过率 71% 到 84%，每一个点的背后是哪次改动、哪个用例从 fail 变 pass——这条曲线在续约谈判时的价值，怎么强调都不过分。Morgan Stanley 的案例（7.5 节会展开）里，"98% 顾问团队在使用"这个数字能被反复引用，前提是他们能持续证明系统没有变坏。
7.1.3 沙盘：新总监的"自动执行"指令
现在正面处理本章开头的剧情。新任数字化总监的完整态度是：他认为现有方向（辅助运营做分析建议）价值太小——"建议谁不会提？客户要的是挽回动作自动执行：识别流失会员、生成话术、发起外呼任务、记录结果，全链路不要人守着。"以及那句让人脊背发凉的话："我不需要建议，我需要执行。"
怎么接？拆开看这个指令其实有三层，必须分别处理：
第一层：方向判断——他说得对吗？ 部分对。自动化执行确实是 Agent 的价值终局，我们原路线图里也有这一段（只是排在人审充分验证之后）。他错的部分在于节奏：跳过信任积累直接放权，在零售会员场景意味着模型错误直接变成对真实客户的错误外呼。
第二层：权力事实——你有得选吗？ 没有。他是董事会任命的接管人，项目预算归他。FDE 可以陈述专业意见，但不能对抗决策。这一条要认得快：在客户的权力结构面前，正确的策略是"把专业风险显性化"，而不是"阻止决定"。
第三层：技术路径——怎么接才不翻车？ 这才是 FDE 的主战场。我们的接法是三句话：可以上自动执行；但"自动执行"的准入标准必须先定义清楚——什么场景允许全自动、什么场景必须人审、失败到什么程度自动熔断；以及，标准由评估集承载，不是由我说了算，也不是由您说了算——由用例说了算。然后我们当场演示了对抗集里的一条用例：模拟"会员投诉后仍被连续外呼三次"的异常场景，当前系统正确识别并停止；再把执行权放开重跑——系统没能识别，重复外呼发生了。总监看完沉默了几秒，说："那先把你们说的标准建起来。"
注意这次交锋的实质：我们没有用"AI 不成熟"这种无力的话术，而是用一条具体的失败用例让风险可见。评估集在这里的作用不是技术工具，是沟通工具——它是唯一能让非技术决策者在 30 秒内理解"放开执行会发生什么"的介质。
7.1.4 从需求到用例：最小可行评估集
如果你的项目还没有评估集，怎么从零开始？别贪大，按"最小可行"来：
- 从北极星场景倒推 5-10 个核心用例。 复购场景：识别高流失会员、解释原因、推荐挽回动作、异常输入处理。每个用例写成"输入 + 期望行为 + 判定方式"三段式。
- 判定方式能硬则硬。 "Top100 流失名单命中 60 个"是硬判定；"解释合理"是软判定——软判定的用例控制在 30% 以内，靠抽样人评。
- 先跑基线，再动手改任何东西。 哪怕现在分数很难看——难看的基线也是基线。没有基线，后面所有改动都无法自证。
- 让客户参与出题。 一线运营知道最刁钻的真实问法（第 4 章 demo 内循环里 AI 模拟客户的思路在这里复用）；7.2 节会展开怎么把他们的反馈沉淀进评估集。
这套最小集搭起来大约一到两周，但它是后面所有章节的地基：7.2 节的三类评估集是它的扩展形态，7.3 节的 harness 是它的自动化运行环境，棘轮原则是它的纪律，7.4 节的变更协商用它计算代价。而 6.4 节的脱敏验证已经预演过全部核心动作——你其实已经会了，只是现在要把它从"一次性实验"升级为"制度"。
7.1.5 一个对照实验：有评估和没评估的项目差在哪
为了让你对评估体系的分量有实感，这里给出一个对照——同一类项目（会员挽回 Agent），有评估体系和没有评估体系的两条轨迹在六个月里的分岔：
| 时间 | 没有评估的轨迹 | 有评估的轨迹 |
|---|---|---|
| 第 1 月 | demo 惊艳，客户拍板，全速开发 | demo 惊艳，同时建最小评估集，基线 71% |
| 第 2 月 | 上线，效果尚可，无人能量化"尚可" | 上线，通过率 71% 作为对外承诺的锚点 |
| 第 3 月 | 模型厂商升级，效果悄悄下滑，没人发现 | 影子环境跑回归，发现升级掉 4 个点，暂缓 |
| 第 4 月 | 客户抱怨"不如刚上线时好用"，互相怀疑 | 客户提 5 条新需求，变更单量化影响后置换排队 |
| 第 5 月 | 团队盲改 prompt 自救，越改越乱 | 每次改动全量回归，通过率爬到 84% |
| 第 6 月 | 续约谈判：效果说不清，客户压价 | 续约谈判：71%→84% 曲线+拦截记录，原价续约 |
左边轨迹里没有一个环节是"犯了大错"——每一步都是正常人的正常反应，但叠加起来就是项目的死亡螺旋。右边轨迹多出来的东西只有一样：一把固定的尺子，和每次变化时重新量一遍的纪律。成本呢？评估集建设两周 + 每次回归几十分钟机器时间——相对六个月的项目周期，不到 5% 的投入，买走的是整个项目的可解释性。
这也是评估驱动在商业层面的定义：它把 AI 项目的质量从"口碑"变成"资产负债表"——可以记录、可以对比、可以进合同、可以拿去融资客户的续约预算。
7.1.6 常见误区
- 评估 = 刷榜。拿公开 benchmark 分数当自己的评估——MMLU 考满分不代表你的挽回话术合格。评估集必须来自你的业务场景。
- 只有自动指标。生成质量、解释合理性这些软维度不可自动判定，全砍掉等于把半张考卷扔了。人评抽样 + 模型辅助评分是标配组合。
- 评估集当摆设。建好跑了一次基线就归档——评估集的价值全在"每次改动都跑"，一次性使用它就只是份昂贵的测试报告。
- 用例越攒越多不清理。过时用例（业务已下线的场景）会稀释信号，也拖慢回归。评估集要版本化管理，进有流程，出也要有流程。
7.1.7 要点总结
- 评估驱动开发 = 先把"什么叫好"写成可判定的用例集合，再开发功能；之于 Agent 项目如同测试之于传统软件，且权重更高——模型、数据、需求三个源头的变化你一个都拦不住。
- 评估体系三作用：对齐预期（把形容词收敛成用例）、防止回退（冻结的回归基准）、量化进步（续约谈判最硬的证据）。
- 面对空降指令的正解：不对抗权力，把专业风险用具体失败用例显性化——评估集是让非技术决策者 30 秒理解风险的沟通介质。
- 最小可行评估集：北极星倒推 5-10 个用例、硬判定优先、先跑基线、让客户参与出题。
- 评估集要活：每次改动都跑、版本化管理、及时淘汰过时用例。
参考资料
- OpenAI Evals 指南（官方文档） — 官方评估方法论：描述任务、跑测试输入、分析结果并迭代
- openai/evals（GitHub） — OpenAI 开源评估框架，支持用私有数据构建不公开的评估集
- OpenAI 官方：Morgan Stanley uses AI evals — 评估驱动落地的一手企业案例，98% 采用率背后的 eval 框架（7.5 节详述）
- OWASP Top 10 for LLM Applications 2025 — 安全侧评估（红队与对抗测试）的参照，评估集不止考业务正确性