企业客服接入 LLM 的 5 个坑

坑 1: 幻觉 — AI 一本正经胡说

直接把 GPT 接进客服,用户问「你们 A 产品多少钱」,AI 会编一个从来没存在过的价格。

解法: 必须做 RAG,所有回答必须基于私域知识库。回复前先用知识库检索,再用 LLM 改写,而不是让 LLM 自己生成。

用户上一句问「我的订单什么时候发货」,下一句说「能改地址吗」,AI 答非所问。

解法: 维护会话状态对象,识别订单号、用户身份,并把关键槽位传给 LLM。

对话进行到第 8 轮,AI 突然忘记用户最初的目的,给出风马牛不相及的回答。

解法: 每轮重新执行意图识别,并显式注入到 prompt。

AI 在金融、医疗、政企场景随口给出投资建议、诊断结论,企业面临监管处罚。

解法: 高风险场景必须接人工审核,AI 只能给「参考建议」,不允许直接下结论。

长上下文 + 高频调用,一个客服月账单从 500 元飙到 5 万元。

解法: 用小模型做意图分类,只有需要生成回答时才调大模型;对长对话做摘要压缩。