FDE 交付实战营

Appearance

第七章 变更与评估驱动 ​

7.5 案例：Morgan Stanley 的 eval 与信任 ​

承前：第 7 章的方法论讲完了——评估驱动、三类评估集、harness 与棘轮、变更协商。现在用这个领域最著名的一手案例做整章的收尾和印证：Morgan Stanley 与 OpenAI。这个案例的价值不在"又一个大厂用了 GPT-4"，而在它完整走过了我们这一章的每一步，并且留下了一组值得反复咀嚼的数字：技术部分只花 6-8 周，而评估与信任的打磨花了约 4 个月。本章所有的道理，这组数字是最硬的注脚。

7.5.1 背景：锁在保险库里的知识 ​

Morgan Stanley Wealth Management（摩根士丹利财富管理）管理着数万亿美元级的客户资产，坐拥一座"知识金矿"：数十年积累的研究报告、投资策略、市场评论、产品文档——数十万份文档，仅研究内容就常被描述为"上亿词量级"。

问题不是没有知识，是拿不到。一个理财顾问（Financial Advisor）日常工作要回答客户千奇百怪的问题——税务影响、某类资产的适合度、内部流程怎么走——答案就散落在那几十万份文档里。搜索一次平均要 30 分钟上下，顾问们的实际选择往往是：不查了，凭经验答，或者干脆不接这个话题。据 OpenAI 官方案例披露，文档访问率长期停留在 20% 左右——80% 的机构知识处于"存在但不可用"状态。

对照第 3 章的进场判断标准：这是一个教科书级的场景——真实痛点（顾问每天撞墙）、可衡量（访问率、检索时间）、可归因（知识触达是顾问产出质量的上游）。2023 年 3 月，Morgan Stanley 宣布 OpenAI 成为其财富管理业务的战略合作伙伴，成为最早把 GPT-4 部署到生产环境的大金融机构之一。

7.5.2 两件产品：Assistant 与 Debrief ​

合作产出了两件产品，正好对应两类典型的知识工作场景：

AI @ Morgan Stanley Assistant（2023 年 9 月全员推出）：面向理财顾问的内部问答机器人。顾问用自然语言提问，系统从内部研究库里检索并生成答案——据 Morgan Stanley 方面人士的公开表述，从最初覆盖约 7000 个常见问题，扩展到能有效回答约 10 万份文档语料范围内的问题。架构上是 RAG：答案必须落根在自家经过审核的研究内容上，而不是模型的自由发挥——这个选择和第 6 章 Novo Nordisk 的"预核准语料"如出一辙：强监管行业的共识是让模型只说有依据的话。

AI @ Morgan Stanley Debrief：会议纪要工具。经客户同意后处理 Zoom 会议录音（语音转写用了 Whisper，内容生成用 GPT-4），自动产出客户笔记、写入 CRM、起草后续跟进事项的草稿。注意最后两个字：草稿——顾问审阅并修改后才发出。生成权给 AI，发送权留给人，和我们在 6.5 节总结的"生成权/签署权分离"完全同构。

7.5.3 eval 框架：这个案例真正的看点 ​

大多数报道盯着"98% 采用率"，但 FDE 视角下，这个案例最有教学价值的是 OpenAI 官方披露的这句总结：两个产品都受益于 Morgan Stanley 以评估驱动（eval-driven）的方法。拆开看他们的 eval 体系，会发现和我们第 7 章搭的骨架惊人地一致：

先建评估框架，再谈部署。 据 OpenAI 官方案例描述，Morgan Stanley 建立了评估框架，在每个 AI 用例上线前测试。这正是 7.1 节的"先定义什么叫好再谈怎么做到"——以及 7.2 节的上线门：用例不过评估，不进生产。

人工评分闭环。 顾问和提示工程师对 AI 回答的准确性与连贯性打分，团队根据评分迭代提示词——人类反馈直接进入优化循环。这是 7.2 节软判定人评的实践版，且评分者是真正的一线用户，不是标注外包。

分场景建评估数据集。 官方披露里最具体的细节：为 Debrief 开发了代表不同会议类型的评估数据集，严格测试模型捕获关键行动项且不引入错误的能力——销售会议、合规审查、投诉处理，会议类型不同，评估标准不同。这是"评估集要贴着业务形态分层"的直接印证。

持续扩展的评估范围。 随系统成熟引入了多语言客户的翻译评估；据多方报道，团队还维护着每日运行的回归问题套件（daily regression suite），每天用固定问题集重新测试系统，防止模型或数据变化悄悄破坏行为——这就是 7.3 节 harness+棘轮的企业级实现："生产"在这个案例里的定义是"每天都被重新验证"。

数据侧的信任地基。 据报道，OpenAI 的零数据保留政策（zero data retention）是这个手握极敏感金融数据的机构敢于合作的前提——呼应第 6 章：安全边界先于一切效果讨论。

7.5.4 6-8 周 vs 4 个月：信任的时间结构 ​

现在回到开头那组数字。据 OpenAI 前向部署工程负责人 Colin Jarvis 的公开访谈（Yahoo Finance 报道）：Morgan Stanley 的技术脚手架——检索、集成、基础功能——大约 6 到 8 周就绪；但让理财顾问真正信任并采用它，团队又花了大约 4 个月跑试点、收集评估、和顾问反复迭代。最终约 98% 的顾问团队日常使用 Assistant，文档访问率从 20% 跃升到 80%。

这 4 个月在干什么？不是修 bug——系统已经能跑了。是在做三件 eval 之外无法压缩的事：

  1. 用评估数据说服怀疑者。理财顾问不会因为模型能力强就把专业判断外包给它——错一次的代价是合规责任和客户信任。能改变他们想法的只有持续的、可复核的评估记录："它在这类问题上连续做对了多少次"。
  2. 把一线反馈炼进评估集和提示词。顾问的打分、吐槽、edge case，逐条回流——评估集越贴真实工作，系统越值得托付。
  3. 让渡的节奏可控。从 7000 个问题起步，逐步扩到全库；Debrief 先出草稿人后定稿——权限一步步放，每步都有评估背书。这就是 7.4 节"分阶段放权"的原本出处。

把这组时间结构放回我们整本书的框架：第 4 章 demo 内循环、第 5 章 PoC、第 7 章评估与变更——其实都在回答同一个问题：AI 项目的交付物不是"能跑的系统"（那只要 6-8 周），是"被信任的系统"（那需要再加一倍以上的时间）。FDE 这个职业之所以存在，本质上就是因为后一段工作没有标准答案、必须贴着客户做。Morgan Stanley 不缺工程师，缺的是把信任做出来的过程。

还有一个反直觉的观察值得带走：98% 是采用率，不是准确率。OpenAI 案例通篇强调的是"顾问选择每天使用它"——采用是比任何技术指标都更综合的成绩单，它意味着准确、及时、合规、顺手同时达标。你的项目终极 KPI 也应该是这个形态的东西：不是"模型多准"，而是**"用户在没有强制的情况下，第二天还来用"**。

7.5.5b 给 FDE 的三条可迁移经验 ​

从案例回到你的日常，提炼三条可直接带走的经验——它们是本章全部内容的案例级验证：

经验一：把"信任时间"排进项目计划。 Morgan Stanley 的 4 个月不是意外损耗，是必要工序。你在做项目排期时，就应该在"系统可用"之后显式排一段"信任建设期"：试点、评估收集、分阶段放权。把它排进 SOW 里程碑（第 3 章），客户就不会在第 8 周问"为什么还不能全员开放"——因为计划里写着第 16 周才是那个节点，中间的周都在产出评估数据。

经验二：让客户的人成为评估体系的一部分。 Morgan Stanley 的评分者是理财顾问自己，不是 OpenAI 的工程师。这有两个不可替代的效果：评估标准天然贴合真实工作；使用者参与过"考试出题"后，对系统结果的信任完全不同（"这系统是我们一起调教出来的"）。沙盘里运营经理签字入库的用例，就是这个机制的微缩版。评估体系不只是质量工具，还是信任的生产装置——这是本案例最容易被忽略的一课。

经验三：终极指标选"自愿采用率"。 项目 KPI 别只盯着准确率、命中率这类技术指标——它们是过程指标。盯着"用户第二天还来不来用"这个结果指标，它会逼迫你同时做好准确、及时、合规、顺手四件事，任何一件拉胯都会在采用率上显形。98% 这个数字之所以有分量，正因为它是一个综合成绩单。青禾沙盘在项目后期的北极星之外加了一条"周活跃顾问/店长占比"，就是这课的落地。

7.5.6 回望青禾：两个项目的镜像 ​

把镜头拉回沙盘做本章收束。Morgan Stanley 与青禾优选的规模差了几个数量级，但项目结构是镜像的：知识/数据金矿锁在系统里（80% 文档不可触达 ↔ 三个部门三个会员数，数据不可用）；RAG 限定在受审核语料（内部研究库 ↔ 字段白名单+脱敏管道）；人工留签署权（Debrief 草稿人审 ↔ 外呼代拨留痕+自动执行分阶段放权）；eval 先行（评估框架先于部署、每日回归 ↔ 三类评估集+harness+棘轮）；信任按数据逐步给（4 个月试点迭代 ↔ 升级门绑定阶段放权）。

差异只在尺度，不在方法。这说明第 7 章这一整套东西不是"小项目凑合用的土办法"，是被最高强度的金融环境验证过的通用结构。你下次进场，可以带着这个底气。

7.5.7 要点总结 ​

  • Morgan Stanley 案例的核心数字：技术脚手架 6-8 周，评估与信任打磨约 4 个月，最终 98% 顾问团队采用、文档访问率 20%→80%——信任的时间远长于技术的时间，这是 AI 交付的普遍结构。
  • eval 体系与第 7 章方法一一对应：评估框架先于部署（上线门）、顾问人工评分闭环（软判定人评）、分会议类型评估数据集（评估集贴业务分层）、每日回归套件（harness+棘轮）、零数据保留（第 6 章安全边界先行）。
  • 4 个月做的事：评估数据说服怀疑者、一线反馈炼进评估集、分阶段放权——全部无法靠技术压缩。
  • 98% 是采用率不是准确率：终极 KPI 的正确形态是"用户第二天还自愿来用"。
  • 大厂案例与沙盘结构同构、只在尺度：第 7 章方法论是被金融级环境验证过的通用结构。

参考资料 ​