获课地址：666it.top/14491/

从零打造企业级AI Agent：一场全栈开发的实战之旅

2023年，我所在的零售科技公司接到一个颇具挑战的需求：为某大型连锁商超开发一个能够自主处理80%客服咨询、同时可以联动ERP系统的智能助手。不是调用现成的ChatGPT API包装一下，而是要从模型选型到工程架构、从数据闭环到生产运维，完整定制一个AI Agent。

这不仅仅是写几个Prompt的工作。这是一次真正的“从0到1”全栈开发。

一、第一步不是写代码，而是定义“智能”的边界

项目启动时，产品经理拿来一份47页的需求文档，涵盖了商品咨询、退换货、物流查询、优惠券核销等十几个模块。技术团队的第一反应不是拆解功能，而是划清边界。

我们问了自己三个问题：

1. 哪些决策必须由Agent独立完成？（如查询库存、自动改签）

2. 哪些需要人机协同？（如涉及退款金额较大的纠纷）

3. 哪些绝对禁止AI介入？（如敏感个人信息处理）

这个阶段最大的收获是建立了“决策权限矩阵”。Agent不是越智能越好，而是越可控越好。我们甚至主动把一些“明明能自动”的场景留给了人工——比如客单价超过5000元的退货申请。这种克制让后续开发少走了很多弯路。

落地经验： 在企业级场景中，Agent的能力上限不取决于技术，而取决于风控红线。先画禁区，再建城池。

二、架构设计的取舍：为什么我们放弃了LangChain

技术选型时，团队内部有过激烈争论。要不要用LangChain？那会儿它刚火起来，各种组件开箱即用，看起来很美好。

但我们最终决定：核心流程自己写，只复用LLM调用和向量检索的基础库。

原因很简单：LangChain的抽象层级太高，封装了太多“黑盒”。当用户问“为什么这个工具调用失败了”，我们需要在多层包装里翻源代码；当我们需要在Agent的推理过程中插入一个专有的促销引擎时，发现无处安插。

于是我们设计了极简的四层架构：

• 交互层：微信小程序+Web管理后台

• 编排层：自研的“意图-动作”解析引擎，维护一个极简的状态机

• 模型层：基座模型+LoRA微调，以及私有化部署的向量库

• 数据层：实时同步的ERP读库、知识库版本管理、会话日志流水

这个架构最核心的设计是“状态可见”。每一轮对话中，Agent当前在思考什么、调用了什么工具、拿到了什么结果，全部以结构化日志输出。不仅方便调试，更重要的是——当业务部门质疑“AI是不是乱说了什么”时，我们能拿出证据链。

三、数据的闭环：比模型训练更关键的是反馈回流

很多团队做AI Agent，把80%精力花在微调和Prompt优化上，却忽略了数据从哪里来、用完怎么回收。

我们做了三件看似不起眼、实则决定成败的事：

1. 埋点即标签

在客服工作台里，人工客服每一次“修改Agent生成的回复”，都成为一个天然的标注数据。修改前是模型预测，修改后是标准答案。这套机制上线一个月，我们自动收集了3.2万条高质量微调数据。

2. 负反馈的价值

用户在对话框点“踩”时，我们不仅记录这条回复，还会让Agent回溯：刚才推理的哪一步导致了错误？是意图识别错了，还是查询参数传错了，还是知识库里就没有这个答案？这种归因信息比“这个回答不对”珍贵百倍。

3. 版本化知识库

企业知识是动态变化的——促销政策每周更新，商品信息实时变动。我们给每一版上传的文档打上版本号，Agent回答时必须附带所引用的文档版本。当发生客诉时，能迅速定位：是模型理解错了，还是当时的知识就是过期的。

四、从“能跑”到“好用”：那些没人教的生产细节

项目上线第一周，准确率78%。业务方说：能用，但不太好用。

接下来的两个月，我们没碰一行模型代码，全在优化“体验”：

响应速度的博弈。我们允许Agent在查询数据库时，先返回一句“正在查询库存，请稍候”，而不是让用户对着空白对话框干等。这需要把同步调用改成异步状态轮询。

不确定性表达。当置信度低于0.7时，Agent会说“我理解您想退货，但不确定您的订单是否符合极速退款条件，帮您转人工确认一下”，而不是硬着头皮给一个可能错误的答案。

记忆能力的伪装。企业场景不需要真正的长期记忆，但需要“伪记忆”。用户在上午问过某款咖啡机缺货，下午再问时，Agent会说“这款上午还缺货，需要帮您再查一下吗？”——这只需在会话上下文中缓存24小时的意图摘要。

这些细节没有一篇论文会讲，但它们是用户感知“这AI聪明不聪明”的真实分水岭。

五、交付不是终点，迭代是常态

项目交付时，Agent处理率稳定在72%，人工客服日均咨询量从1800通降至500通。

但更有趣的事情发生在交付之后。运营团队开始主动提需求：“能不能让Agent在促销活动前主动给会员发优惠提醒？”“能不能根据历史咨询预判换季时哪些商品会被高频问起？”

Agent从一个“回答问题”的工具，逐渐变成了业务流程的一部分。这不是技术能力的溢出，而是因为我们在开发全程都把它当作一个需要持续运营的产品，而不是一次性交付的项目。

回头看，这次从0到1的全栈实战，最深刻的体悟是：

在企业级场景里，AI Agent的本质不是更聪明的聊天机器人，而是一个能够执行决策、承担责任的数字员工。 让它入职，需要工位（算力）、权限（API）、培训（数据）、考核（评估体系），以及最重要的——容错空间和成长路径。

技术栈会过时，模型会迭代，但“把AI当产品做”的思路，或许才是这场实战真正的交付物。