10.企业智能体建设的关键技术

10.企业智能体建设的关键技术

智能体作为一种新型的 AI 应用范式，其核心在于将大型语言模型（LLM）与外部工具、知识库、记忆等组件相结合，使其能够自主感知、决策和行动。因此，对这些核心技术组件的深入理解和合理选择是智能体建设的技术基石。

10.1.大型语言模型（LLM）

LLM 是智能体的“大脑”，其能力直接决定了智能体的智能水平和泛化能力。企业在 LLM 的建设与选择上，需要综合考虑以下几个方面：

  • 模型选型：

○通用大模型：如 GPT 系列、DeepSeek、通义千问等，它们拥有强大的通用语言理解和生成能力，知识面广，适用于多种场景。对于大多数企业而言，直接调用成熟的通用大模型 API 是快速启动智能体建设的有效途径，可避免从零开始训练模型的巨大投入。选择时需关注模型的性能、稳定性、成本、API 易用性以及数据隐私保护政策。

○垂直领域模型：针对特定行业或企业内部数据进行训练或微调的模型，如金融大模型、医疗大模型等。这类模型在特定领域的专业知识和推理能力上表现更优，能够更好地理解行业术语和业务逻辑，减少“幻觉”现象。对于数据量大、对专业性要求高的企业，可以考虑在通用大模型基础上进行微调（Fine-Tuning）或预训练，构建专属的垂直领域模型。当然，企业在决定微调或者预训练垂直领域模型时候一定需要慎之又慎，需要重点考虑三个问题。其一，模型的领域业务价值是否足够大值得你做大投入；其二，模型的领域是否足够专业，以至于通用大模型无法有效覆盖；其三，相关业务是否足够可持续，能够长期投入资金、人才进行模型迭代。

  • 模型部署：

○云端部署：利用云服务商提供的 LLM 服务，具有部署快、维护成本低、弹性伸缩等优势。但需要关注数据传输的安全性、隐私合规性以及对外部服务的依赖性。

○本地化部署：即私有化部署，将 LLM 部署在企业内部服务器或私有云上，能够更好地控制数据安全和隐私，满足严格的合规要求。但本地化部署对硬件资源、运维能力和技术团队要求较高，成本也相对较高。企业应根据自身数据敏感度、合规要求和技术实力进行权衡。

  • 模型评估与迭代： LLM 的能力并非一成不变，需要持续进行评估和优化。企业应建立完善的模型评估体系，包括准确性、召回率、流畅度、安全性等指标，并根据业务反馈进行持续迭代和模型升级。

10.2.检索增强生成（RAG）

RAG （Retrieval-Augmented Generation）技术是提升智能体知识准确性和减少“幻觉”的关键。它通过将 LLM 与外部知识库相结合，使 LLM 在生成回答前能够检索相关信息，从而提供更准确、更具时效性的答案。整个 RAG 技术包括如下几个方面的关键步骤：

  • 知识库构建：企业需要构建高质量的外部知识库，包括企业内部文档（产品手册、规章制度、FAQ、历史报告）、行业报告、专业论文、网页信息等。知识库的构建涉及数据清洗、格式统一、向量化存储等环节。选择合适的向量数据库（Vector Database）至关重要，它能够高效地存储和检索海量向量数据。
  • 检索策略优化：RAG 的性能取决于检索的准确性。企业需要优化检索策略，包括关键词检索、语义检索、混合检索等，确保能够从知识库中检索最相关的文档片段。同时，构建好高效的多路召回机制进一步提升检索准确率。
  • 生成与融合：将检索到的信息与 LLM 的生成能力相结合，确保 LLM 在生成回答时能够充分利用检索到的知识，并以自然流畅的语言呈现。这涉及到提示词工程的优化，引导 LLM 更好地融合外部知识。

10.3.工具调用（Tool Uses）

工具调用是智能体实现“手脚”的关键，它使智能体能够与外部系统进行交互，执行具体动作，从而将 LLM 的语言理解能力转化为实际行动。

  • 工具库的构建与管理：企业需要根据业务场景，构建丰富的工具库，包括 API 接口请求工具（如 CRM 系统 API、ERP 系统 API）、数据库操作工具、文件读写工具、网络爬虫工具、计算工具等。工具的定义应清晰、功能单一，并提供详细的描述，以便 LLM 理解其用途和调用方式。
  • 工具选择与调用逻辑：智能体需要具备根据用户意图或预设工作流逻辑，使用合适的工具并正确调用工具的能力。这通常通过 LLM 的推理能力或预设的工具调用来实现。在复杂场景下，可能需要多步工具调用形成工具链的组合。
  • 工具执行与结果解析：智能体在调用工具后，需要正确解析工具执行的结果，并将其作为新的信息输入到 LLM 中，以进行下一步的决策及输出。这涉及到对不同格式结果的解析和理解能力。

10.4.智能问数（Chat to BI）

智能问数是企业智能体在数据分析和洞察领域的核心能力。它旨在利用 LLM 强大的自然语言理解能力，将用户提出的自然语言问题转化为可执行的数据查询语言（如 SQL、NoSQL查询或 API 调用），并最终将查询结果以人类易于理解的方式（如文本、图表）返回。在企业智能体建设中，智能问数工具是实现这一能力的关键实践之一。

以下我们以 SQLBot 为例介绍下智能问数的技术实现原理。SQLBot 是一个专注于将自然语言转化为数据库结构化查询语言的智能问答系统（基于 LLM 的 Text-to-SQL 或 Text-to-Data）。它通过以下关键机制实现智能问数：

1.Schema 理解与映射：

LLM 首先学习并理解企业数据库的结构（Schema），包括数据表名、数据字段名、数据类型、字段的业务含义以及数据之间的关系。这是 LLM 将自然语言生成准确 SQL 的基础。

2.自然语言到 SQL 的转换（Text-to-SQL）：

这是核心技术。LLM 被用于分析用户的自然语言问题，结合预先理解的数据库 Schema，推理出正确的、可执行的查询 SQL 语句。这一过程通常涉及复杂的提示词工程（Prompt Engineering）、少样本学习（Few-shot Learning）和领域知识的注入。

3.查询执行与结果解析：

  • 首先智能体通过调用工具执行 LLM 生成的 SQL 语句，从数据库中获取原始数据。
  • 其次 LLM 或专门的解析模块对查询结果进行二次处理，包括数据聚合、格式化，并结合用户的原始问题，将数据洞察以自然语言或可视化图表的形式清晰地呈现给用户，而非仅仅返回冰冷的表格数据。
  • 最后 SQLBot 具备严谨的安全与权限控制体系， SQLBot 具备完整权限管理体系，可以确保智能体在生成和执行 SQL 时，不会访问或暴露用户无权限查看的敏感数据，防止数据泄露或越权操作。

4.其它关键技术

  • 领域知识增强：利用 RAG 技术，注入企业特有的业务术语、数据指标定义和数据查询规范，以提高 Text-to-SQL 的准确性。
  • 复杂查询处理：能够处理涉及多表联接（Join）、复杂聚合函数（Aggregate）、条件过滤（Where）、分组（Group By）等复杂逻辑的自然语言查询。
  • 图表结合展示：具备强大的结果可视化能力，自动将查询结果以图表（如趋势图、饼图、柱状图等）形式展示。实现“问句->数据 ->洞察”的完整闭环。

10.5.提示词工程（Prompt Engineering）

提示词工程是与 LLM 交互的艺术和科学，它直接影响智能体的行为和输出质量。高质量的提示词能够有效引导 LLM 的推理过程，使其更好地理解用户意图，并生成符合预期的结果。在智能体运行过程中涉及到系统提示词与用户提示词两个部分。从构建智能体角度看，系统提示词是核心工作内容。当然，如何引导客户输入更加高质量的用户提示词也是智能体交互设计中的重要一环。对于系统提示词的设计，我们可以遵循以下几点建议。

  • 清晰明确的指令：提示词应包含清晰、明确的指令，告知 LLM 需要完成的任务、期望的输出格式、角色设定等。避免模糊不清或存在歧义的表达。
  • 提供上下文信息：为 LLM 提供足够的上下文信息，包括背景知识、历史对话、相关数据等，帮助 LLM 更好地理解当前任务。
  • 示例与少样本学习：通过提供高质量的示例（Few-shotLearning），引导 LLM 学习期望的输出模式和推理逻辑。对于复杂任务，可以拆解为多个子任务，并通过链式提示（Chain-of-ThoughtPrompting）引导 LLM 逐步推理。
  • 迭代优化与测试：提示词工程是一个持续迭代优化的过程。企业需要不断测试不同提示词的效果，并根据实际业务场景进行调整和优化。

10.6.记忆机制（Memory）

记忆是智能体实现长期交互和上下文理解的关键，它使智能体能够记住历史对话、用户偏好、任务状态等信息，从而提供更连贯、更个性化的服务。记忆机制一般包括以下几个方面：

  • 短期记忆（Context Window）：LLM 的上下文窗口是其短期记忆，能够记住当前对话多轮对话的内容。但其长度有限，对于长时间的交互，需要额外的记忆机制。
  • 长期记忆（External Memory）：通过将历史对话、用户画像、知识库等信息存储在外部数据库中，智能体可以实现长期记忆。当需要时，智能体可以检索相关信息，并将其注入到LLM 的上下文窗口中。这通常与 RAG 技术相结合，利用向量数据库存储和检索记忆片段。
  • 记忆管理与更新：企业需要设计合理的记忆管理策略，包括记忆的存储、检索、更新和遗忘机制，确保记忆的有效性和时效性。例如，定期更新用户偏好，清除过时信息等。 当前，智能体的记忆机制是一个非常重要的研究方向。但目前工业界还未形成类似 RAG、MCP 这样达成共识的解决方案。目前能够投产的记忆机制基本是类似短期记忆的若干轮对话记录历史。大家可以关注记忆机制的业界最新动向。

10.7.人在回路（Human-on-the-loop）机制

“人在回路”（Human-on-the-loop, HoTL）机制是确保企业智能体在关键业务场景中的可靠性、安全性与合规性的必要手段。现有大模型和智能体在处理复杂、高风险或涉及伦理判断的任务时存在局限性，通过将人类专家的判断和监督嵌入到智能体的决策和执行流程中，实现人机协同工作。

表格 2 ：人在回路的关键应用场景与机制

机制类别关键应用场景机制描述技术实现要点
高风险操作确认涉及敏感数据修改、财务交易、核心系统配置变更等不可逆或高成本操作。智能体在生成或确定执行高风险动作（如调用删除数据的 API、发送关键邮件）前，暂停执行，并向人类专家发出通知和待执行的动作清单。只有在收到人类专家的明确指令或审批后，智能体才能继续执行。智能体状态管理： 需具备任务挂起、通知触发、超时处理和恢复执行能力。集成审批流： 与企业内部的工单系统或审批流程（如 OA 系统）集成。
模糊或低置信度任务LLM 对用户意图或任务分解的置信度低于预设阈值；生成的内容涉及复杂的专业判断、伦理道德或法律合规性。结果校验与干预： 智能体将自身生成的中间结果或最终答案，提交给人类专家进行事实核查、专业审查或风格修正。这有助于减少“幻觉”和潜在的合规风险。置信度评估模块： 结合LLM的输出概率、领域知识匹配度等指标，评估任务执行的风险等级。

人在回路的价值

  • 提升可靠性： 确保在关键业务流程中，智能体不会因模型错误或偏见导致灾难性后果。
  • 确保合规性： 在金融、医疗等强监管领域，满足对关键决策的可追溯性和人工干预要求。

10.8.安全风险管控

智能体作为高度集成的 AI 应用，其安全风险是企业建设中不可忽视的核心环节。风险管控应贯穿智能体设计的全生命周期，涵盖 LLM 本身的安全、智能体与外部系统的交互安全以及数据隐私保护。

表格 3 ：核心安全风险与管控措施

风险类别风险描述管控措施
模型内容安全幻觉（Hallucination）： LLM生成虚假、不准确或带有偏见的内容，影响结果和决策。RAG 技术增强： 强制LLM优先引用可信的外部知识库信息。内容过滤： 在输出层进行二次校验和敏感词过滤。事实核查： 引入可信数据源进行事实比对。
模型内容安全提示词注入攻击 (Prompt Injection)： 恶意用户通过巧妙构造的输入，绕过系统预设的指令，迫使智能体执行非预期行为或泄露系统信息。系统提示词隔离： 严格分离系统指令与用户输入。输入校验与过滤： 对用户输入进行安全检查，识别并中和攻击性提示。特权限制： 限制智能体在无特殊认证下的操作权限。
数据安全与隐私训练数据泄露： LLM 在训练或微调过程中，记忆并泄露敏感的内部数据。数据脱敏/匿名化： 对训练和微调数据进行严格的隐私处理。差分隐私技术： 在模型训练中引入噪声，防止个体数据被模型“记住”。本地化部署： 将 LLM 部署在私有环境中，严格控制数据流出。
数据安全与隐私LLM对用户意图或任务分解的置信度低于预设阈值；生成的内容涉及复杂的专业判断、伦理道德或法律合规性。权限最小化原则： 智能体及工具的访问权限应仅限于完成任务所需。数据护栏 (Data Guardrails)： 建立严格的数据访问和输出安全策略，实时监控和阻断对敏感数据的非授权访问和输出。
工具调用安全敏感数据访问与泄露： 智能体通过 RAG 或工具调用，非法访问或在输出中暴露敏感信息。工具白名单与验证： 仅允许调用经过安全审计和白名单认证的工具。操作确认机制： 对于涉及修改或删除等高风险操作，引入人在回路 (Human-on-the-loop) 机制进行二次确认。API 参数校验： 严格限制和校验传递给工具的参数。
合规性与可解释性智能体的决策过程不透明，难以满足行业监管的合规性要求。可解释性 (XAI) 机制： 记录 LLM 的推理路径（如思考链 Chain-of-Thought、工具调用记录），确保决策过程可追溯、可审计。日志审计： 记录所有关键交互、工具调用和数据访问行为。

总之，企业需要建立持续的风险监测和应急响应机制，对智能体进行定期的安全评估和渗透测试，以应对不断变化的安全威胁。

10.9.智能体框架与平台选择

为了加速智能体的开发和部署，企业可以考虑使用成熟的智能体框架或平台。这些框架或者平台通常提供了 LLM 集成、工具调用、记忆管理、RAG 等核心组件的封装，降低了开发门槛。目前可行的选择包括如下两类：

  • 智能体编程框架：如 LangChain、AgentVerse、LlamaIndex 等，它们提供了丰富的模块和接口，支持快速构建和定制智能体。选择时需考虑框架的灵活性、社区活跃度、文档完善程度以及与企业现有技术栈的兼容性。
  • 企业级智能体平台：一些云服务商或AI公司提供了企业级的智能体平台，如 MaxKB、Dify 等。这些平台通常提供更完善的开发工具、运维支持、安全合规和规模化部署能力，适合大型企业或对安全性、稳定性要求高的场景。 智能体框架及平台作为企业智能体建设的基础，结合第十章列出的智能体建设的关键技术是智能体构建中普遍会涉及到的技术要点，团队对于智能体相关的技术和人才储备也是个重要工作。企业可以通过加深对这些技术的理解来构建更加灵活和强大的智能体。当然，目前越来越成熟的企业级智能体平台也能够越来越多的帮助企业屏蔽很多技术细节，大幅度降低了企业构建智能体的技术门槛。
9.企业智能体的建设内容与组织支持11.MaxKB：企业级智能体平台