第十章 验收与归因
10.1 验收三层判断
承前：第 9 章结束时，青禾的会员助手已经过了生产级硬化的六道关，护栏、可观测、灰度一应俱全。但"能上线"不等于"能验收"——上线是 IT 部门点头，验收是客户公司在合同上签字。这一章讲 FDE 交付周期的最后一役：验收会怎么打、效果怎么归因、结果级协议怎么谈、钱怎么收回来。本节先立框架：验收不是一杆秤，是三杆秤——业务层、系统层、行为层，三层都得过关。
10.1.1 为什么"验收"比"上线"难十倍
很多技术出身的人以为，验收就是把系统演示一遍，客户看完点头付钱。这个认知会让你在验收会上死得很难看。
原因在于：**上线审查的技术口径是收敛的，验收的商业口径是发散的。**第 9 章的六维度检查，IT 负责人拿着清单一条条对，每条都有客观证据——压测报告、评估集跑分、审计日志。但验收会上坐着的人，关心的不是这些。财务经理关心的是这笔预算花得值不值；副总裁关心的是能不能向董事会交代；新来的数字化总监（就是 W7 空降接管的那位）关心的是这个项目在他任内能不能继续讲下去。同一场会，三套判断标准。
打个比方：上线审查像考驾照，考官按科目打分，标准公开；验收会像把车卖回给买主——TA 会检查发动机（系统层），也会试驾手感（行为层），最终看的是这辆车有没有真的让 TA 的生活变好（业务层）。
所以成熟的 FDE 在项目开始时就要做一件事：**把验收标准写进 SOW（第 3 章讲过的范围说明书），并且分三层写。**临时在验收会前一周凑标准，等于把裁判权拱手让给对面。
10.1.2 三层判断总览
验收三层判断
┌──────────────────────────────────────────────────┐
│ 业务层：北极星指标动没动？ │
│ → 会员复购率（青禾的北极星） │
│ → 看板：上线前后趋势 + 归因说明 │
├──────────────────────────────────────────────────┤
│ 系统层：系统本身达标吗？ │
│ → 评估集分数（第 7 章建的评估驱动闭环） │
│ → 性能/稳定性/安全的生产数据 │
├──────────────────────────────────────────────────┤
│ 行为层：人真的用起来了吗？ │
│ → 采纳率、任务成功率、满意度（NPS/CSAT） │
│ → 现场观察：门店店长和运营的实际工作流 │
└──────────────────────────────────────────────────┘三层的顺序有讲究：**从下往上，越往上越"软"也越"贵"；从上往下，越往下越硬也越早可控。**系统层最硬，从 W7 的评估驱动开始你就在攒证据；行为层靠运营节奏和现场功夫；业务层最慢——北极星指标的移动需要几个月的观测窗口，而且往往掺杂了你的效果之外的因素。这就是 10.2 节"归因"要单独成节的原因：业务层不是简单看曲线，而是要回答"这里面的多少是你们干的"。
10.1.3 业务层：北极星指标的正确打开方式
业务层判断的唯一主语是北极星指标。Amplitude 在其 North Star Metric 框架文档里给出过经典定义：北极星指标是"最好地捕捉产品给客户 delivered value 的那个单一指标"——它应该是先行指标而非滞后指标，是客户得到的价值而非公司提取的价值。Airbnb 用"预订间夜数"，因为它同时捕捉了房东收入、房客满意和平台营收。
青禾的北极星是会员复购率——这在第 1 章进场诊断时就已经和增长副总裁谈定。验收材料里的业务层页面，应该长这样：
- 一条复购率的时间序列（上线前 6 个月 + 上线后 3 个月），标注灰度放量的节点；
- 一句话口径说明（复购怎么定义、会员分母用哪个数——别忘第 2 章的三个部门三个会员数的坑）；
- 一段诚实的归因说明：哪些变化可能来自助手，哪些来自同期的大促和季节因素。
**业务层最大的坑，是拿"相关"冒充"因果"。**复购率涨了 2 个百分点，不等于你的助手创造了 2 个百分点——同期如果上了个大促、或者正好碰上春节前的囤货季，光靠曲线说不清。验收老手会主动把这个问题摆到桌面上："复购率涨了，但我们只认其中 X 个点，因为对照组显示同期自然涨幅是 Y。"主动认小账，换的是整体的信誉。具体方法在 10.2 节展开。
10.1.4 系统层：评估集是你的"体检报告"
系统层的证据在第 7 章已经埋好了伏笔：评估驱动闭环。验收时你要拿出的是：
| 证据 | 来源 | 验收会上的角色 |
|---|---|---|
| 评估集分数（任务成功率、幻觉率等） | W7 建立的评估集，版本化 | 系统层的核心数字 |
| 生产 30 天稳定性数据 | 第 9 章的可观测三支柱 | 回答"跑得稳不稳" |
| 安全与审计证据 | 护栏拦截记录、审计日志 | 回答 IT 的合规质询 |
| 坏例修复记录 | 评估驱动闭环的回归测试 | 回答"出了问题怎么改" |
注意一个关键差异：**评估集分数是"实验室口径"，生产采纳数据是"野户口径"，两者必须一起报。**只报评估集 92 分、不报生产里运营只有 60% 的会话是有效的，是自欺欺人；反过来只报生产数据、没有评估集兜底，IT 会问"你怎么保证下个月模型升级后不掉分"。两份数据并排放在一页 PPT 上，中间的差异本身就是信息——它告诉你末端运营培训和 prompt 调优还有多少空间。
10.1.5 行为层：采纳率、成功率、满意度，加上你的眼睛
行为层回答的是"人机协同真的发生了吗"。三个数字加一个动作：
采纳率：目标人群里有多少人每周至少真实使用一次（不是登录，是完成一个任务）。行业里普遍的判断线很朴素：低于 30% 说明推不动，需要回看第 8 章的放权路径是不是放得太保守；60% 以上才谈得上"进入工作流"。
任务成功率：用户发起的会话里，多少次真的走到了预期终点（查到了、改了、办成了）。这个数字的口径要在验收前和客户运营团队谈定——"用户中途放弃"算不算失败，会显著改变数字。
满意度：NPS 或 CSAT。NPS 是 Fred Reichheld 在哈佛商业评论提出、后由贝恩公司商业化的经典指标：问"你有多大可能把我们推荐给朋友"，0-10 打分，9-10 是推荐者、0-6 是贬损者，NPS = 推荐者比例 − 贬损者比例。它的注册商标属于贝恩、NICE 和 Reichheld 本人——用的时候注意这是一个有归属的方法论，不是随手编的数。
现场观察：数字之外的最后一道判断。去两家门店坐一个下午，看店长是怎么用助手的——是真嵌进了日常工作流，还是每次都要运营经理催一遍才打开。FDE 的现场观察常常比看板更早发现问题：看板上采纳率还行，但现场发现店长们只用来查库存、当"智能查询机"，建议和执行功能根本没人碰——这是行为层的"虚假繁荣"，得在第 11 章的持续运营里解决。
10.1.6 沙盘：验收会上的三面夹击
回到青禾的验收会。会议室里坐着：增长副总裁（发起人，想让项目成功但有业绩压力）、数字化总监（W7 空降接管项目，需要向老板证明自己接管有方）、财务经理（带着预算表和削刀）、IT 负责人（已经签过生产审查，基本站你这边）、一线运营经理（真心喜欢这个工具）。
第一刀来自财务经理："这个项目今年花了 280 万，明年订阅费还要 150 万。复购率涨的这 2 个点，保守估计贡献 GMV 增量 600 万左右——但其中多少是助手的功劳？如果不是你们，我们自己做老客运营也能涨。我建议明年预算砍到 80 万，只保留基础版。"
你的应对不能是情绪化的"效果是真实的"。正确姿势是拿出 10.2 节的归因分析：对照组设计 + DiD 估计的净效果，明确说"我们认账的数字是 X，不是 2 个点"。财务要的是可审计的账，你给可审计的账，预算谈判才有基础。同时把话题从"砍预算"引到"每万元增量 GMV 的成本"——单位经济学口径下，你的项目往往比客户自建运营团队便宜。
第二刀来自副总裁："我向董事会汇报的时候，需要一个承诺——明年底复购率再涨 3 个点，能不能签进合同？"这是把验收会变成对赌签约现场。你的应对是 10.3 节的 OLA（结果级协议）框架：可以谈结果挂钩，但要说清楚哪些结果在厂商可控边界内（系统层和行为层支持度）、哪些不在（宏观消费环境、竞争对手动作、客户的商品力）。对协议范围内的事签字，范围外的事给敏感性分析，不给军令状。
第三刀来自新总监："我不想只看明年的数字。我想要一个三年规划——这个系统怎么从会员助手演进成全渠道的经营大脑？预算怎么排？"这一刀看起来最友好，其实最危险：它是范围蠕变（scope creep）的糖衣版，接得太满就把下一期项目变成了无底洞。正确的姿势是把三年规划接住，但框成 11 章的"持续运营 + 路线图"讨论——先验收本期，规划作为下一期的售前输入，验收会上只给方向图不给承诺。
**一场验收会的胜负手，往往在会议开始之前就决定了：**三层判断的证据在两个月前就开始攒，归因口径在数据出来之前就谈定，对赌边界在合同里就画好。会上的四个小时，只是把已经成立的事实呈现出来。
10.1.7 要点总结
- 验收是三杆秤：业务层看北极星指标、系统层看评估集分数与生产数据、行为层看采纳率/成功率/满意度加现场观察
- 三层验收标准应写进第 3 章的 SOW，而不是验收会前临时凑
- 评估集分数（实验室口径）与生产采纳数据（野户口径）必须并排呈现，差异本身是信息
- 业务层最大的坑是拿相关冒充因果——主动认小账、给归因分析，换整体信誉
- 沙盘三刀各有解法：财务给可审计的归因账、副总裁给有边界的 OLA、新总监给框住的三年规划方向
参考资料
- What Makes a Good vs Bad North Star Metric — Amplitude — 北极星指标的定义与判断标准（先行指标、客户价值导向）
- The North Star Playbook 相关文章 — Amplitude — 如何为订阅/交易类产品找到北极星指标
- Net Promoter System 商标与许可说明 — Bain & Company — NPS 的所有权归属与正规使用方式
- 神策数据官网 — 国内数据分析与营销科技厂商（本节行为层指标的产业背景，详见 10.5 案例）