获课：xingkeit.top/16757/

架构师训练营复盘：突破AI业务设计瓶颈

参加架构师训练营之前，我自认为已经算得上“懂AI”——能调API、能写Prompt、能搭建简单的Agent协作流程。但真正让我卡住的，从来不是技术本身，而是一个更根本的问题：如何让AI在一个真实的业务场景中，稳定、可控、低成本地产生价值？

这次训练营，就是冲着这个瓶颈去的。一个月高强度复盘下来，有几个认知上的“破局点”值得记下来。

瓶颈到底在哪里？

先说说我之前的困境。公司里有一个业务场景：客服需要从每天上百条用户留言中，识别出紧急的售后问题并生成处理摘要。我用大模型做了一个自动化流程，单次测试效果很好，但一上线就问题不断——有的留言被漏掉了，有的摘要偏离了用户真实诉求，偶尔模型还会“脑补”出用户根本没说的内容。

我一度以为是模型不够强，换了好几个模型，问题依旧。训练营的第一周，导师一句话点醒了我：“你不是在技术上卡住了，而是在业务设计上卡住了。”

仔细一想确实如此。我一直把AI当作一个“黑盒魔法”，期望它能像人一样理解一切。但现实是，大模型没有常识、没有责任心、没有业务上下文。指望它直接完成端到端的复杂任务，本身就是一种设计缺陷。

三个关键突破

突破一：从“端到端”到“拆解与编排”

这是最核心的认知转变。一个复杂的业务任务，不应该交给一个AI去完成，而应该拆解成多个子任务，每个子任务交给最合适的方式去处理——有些用规则，有些用小型模型，有些用大模型，有些干脆让人工兜底。

拿客服留言来说，我重新设计了一套流程：先用关键词规则快速过滤掉无效留言，再用一个轻量分类模型判断紧急程度，只有高优先级且语义复杂的留言才进大模型生成摘要。同时，所有自动生成的摘要都要经过人工抽检，形成反馈闭环。

这个改动让成本下降了70%，准确率反而提升了。不是AI不够强，而是我之前用错了地方。

突破二：给AI装上“护栏”

大模型的“幻觉”问题在严肃业务场景中是致命的。训练营教会我的第二件事是：不要指望模型自己变老实，要在系统设计上约束它。

具体做法包括：用Prompt强制模型输出JSON格式，方便后续校验；设计结果验证节点，检查生成内容是否与原留言中的关键信息一致；对置信度不高的输出，宁可返回“无法处理”也不给错误答案。这些“护栏”不是为了限制AI，而是让它在一个可控的边界内发挥能力。

突破三：建立可量化的评估体系

之前我判断AI做得好不好，基本靠“感觉”。训练营让我意识到，没有量化标准，就没有优化方向。

我们为客服场景建立了一套评估指标：准确率（摘要是否反映用户核心诉求）、完整率（关键信息是否遗漏）、幻觉率（是否出现了原文没有的内容）。每个指标都定义了明确的评分标准，每周抽样评估一次。有了数据，优化的方向一下子就清晰了。

从“用AI”到“设计AI系统”

训练营最大的收获，是完成了一次角色认知的转变。以前我是一个“AI使用者”，关注的是模型本身的能力；现在我更像一个“系统设计师”，关注的是人、规则、模型、数据如何在一个业务闭环中各司其职。

突破AI业务设计瓶颈，靠的不是更强的模型，而是更清醒的认知：知道AI能做什么、不能做什么，知道在哪里用它、在哪里不用它，知道如何用工程化的思维把不确定性封装成确定性。

技术永远在变，但设计好一个业务系统的思维方式，会一直管用。