如何在AI智能体的部署中针对高风险动作设置审批节点

引言：AI智能体治理的核心，正在从“内容审查”转向“动作控制”

企业对人工智能的使用，正在从“让AI生成内容”进入“让AI完成任务”的阶段。过去，生成式AI更多承担资料检索、文本起草、会议纪要、代码辅助等工作，企业关注的风险主要是输出内容是否准确、是否侵权、是否泄露输入信息、是否存在偏见或不当表达。

但AI智能体（AI Agent）的风险结构已经发生变化。智能体不只是回答问题，而是可能根据目标自主规划步骤、调用工具、访问数据库、修改系统记录、发送邮件、提交表单、执行代码、触发付款或与第三方系统交互。也就是说，AI的风险不再只是“说错了”，而是可能“做错了”。一旦智能体拥有写入、发送、删除、付款、部署、导出或提交能力，其行为就可能直接引发财产损失、数据泄露、合同责任、劳动争议、消费者权益争议、科技伦理风险以及监管责任。

正因如此，企业部署AI智能体时，不能仅仅制定一份《AI使用规范》，也不能只在系统提示词中写明“高风险动作须经人工确认”。笔者在为企业设计AI部署、数据合规和智能化业务流程治理方案时，反复遇到一个非常具体的问题：企业并不缺“人在回路”的原则，真正缺的是“审批节点”的设计能力。所谓审批节点，是指在智能体执行某一项高风险动作之前、执行过程中或结果生效之前，由适格人员进行审查、确认、驳回、修改、升级或中止的控制环节。

本文拟讨论的，正是企业如何围绕高风险动作设置审批节点。本文的基本判断是：AI智能体治理的关键，不是让企业审批所有AI输出，而是按照动作风险、数据敏感度、外部影响、可逆性、伦理风险和法律后果，把审批节点嵌入智能体行动链条，并通过系统权限、工具调用控制、日志留痕、伦理审查和持续审计确保其不可绕过、可追踪、可问责。

01.为什么不能只依赖Prompt约束智能体

在实践中，很多企业会先采取低成本做法：在系统提示词或内部规则中写明“不得访问敏感数据”“不得自动发送正式文件”“高风险动作须先请示”。这种做法有必要，但不足以承担高风险动作的合规控制功能。

首先，提示词可能发生“遗忘”。在长上下文、多轮任务、多工具调用或多智能体协作中，智能体可能逐渐偏离最初的系统指令，未能持续遵守最初设定的审批要求。其次，提示词可能被“噪音混淆”。智能体在运行中同时接收用户指令、系统指令、工具返回结果、外部网页内容、历史记忆和第三方数据，审批要求可能被其他上下文稀释、覆盖或错误解释。甚至，提示词还可能被恶意注入。外部网页、邮件、文档、知识库或第三方工具返回内容中，可能嵌入诱导智能体绕过审批、泄露数据、调用错误工具或执行未授权动作的指令。^[1]

更重要的是，Prompt本身缺乏强制执行力。即便提示词写明“不得执行”，如果系统底层仍然开放了相应工具和权限，智能体仍可能在错误理解、恶意诱导或异常状态下完成动作。五眼网络安全机构联合发布的《Careful Adoption of Agentic AI Services》即指出，自主智能体AI会继承LLM相关风险，外部数据源可能通过间接提示词注入影响智能体上下文，并且组织不应授予智能体广泛或无限制访问权限，尤其不应允许其随意接触敏感数据或关键系统。^[2] 新加坡IMDA《Model AI Governance Framework for Agentic AI》也强调，企业应通过访问控制、护栏、人工批准、日志记录和监测等机制限制智能体行动空间，而不能仅依赖提示层控制。^[3]

因此，审批节点的必要性在于：它不是提示词层面的道德劝告，而是系统和管理层面的刚性控制。高风险动作必须通过权限、工具、流程和日志机制被系统性拦截、提交审批、记录结果，并在未获批准时默认拒绝执行。

02.审批节点、人在回路与伦理审查的关系

“人在回路”是AI治理的常见表达，但企业真正落地时，需要把这一原则拆解为具体的审批节点。“人在回路”回答的是人类是否应当参与监督；“审批节点”回答的则是人在什么位置参与、审批什么内容、依据什么信息审批、审批结果如何被系统执行、审批记录如何保存和审计。没有审批节点设计的“人在回路”，容易停留在口号层面；没有系统强制执行的审批节点，则容易退化为形式化确认。

除此以外，2026年3月20日，工业和信息化部等十部门印发《人工智能科技伦理审查与服务办法（试行）》，将人工智能科技伦理审查的适用范围、实施主体、工作程序和监督管理纳入制度框架；相关解读指出，伦理审查重点关注人类福祉、公平公正、可控可信、透明可解释、责任可追溯、隐私保护等方面。^[4] 该办法出台后，企业部署AI智能体，尤其是涉及人的尊严、公共秩序、生命健康、劳动就业、消费者权益、公平公正、隐私安全、弱势群体保护或社会公共利益的场景，不能只从业务效率和信息安全角度审查，还需要纳入科技伦理治理视角。

笔者建议将二者作如下区分：伦理审查解决的是某类AI智能体场景能不能上线、能不能扩大范围、能不能赋予更高自主性；审批节点解决的是智能体在具体任务中准备执行某一项高风险动作时，是否需要人类批准、由谁批准、基于什么信息批准、批准后如何执行。伦理审查是场景级、上线前和复审性的治理机制；审批节点是动作级、运行中和流程性的控制机制。

二者应当形成闭环。伦理审查结论应当转化为审批节点、权限限制、日志要求和持续监测指标；而审批记录、驳回记录、异常记录、用户投诉和人工干预记录，又应成为伦理复审的重要证据。换言之，伦理审查决定风险边界，审批节点执行风险边界。

03.高风险动作如何识别，并由谁审批

企业不应对智能体所有动作都设置人工审批。过度审批会导致效率下降、告警疲劳和机械批准，反而削弱治理效果。更合理的做法，是先识别智能体可能执行的动作，再按照风险等级、数据敏感度、外部影响、可逆性和伦理风险进行分层。

第一类是低风险辅助动作，例如公开资料检索、非敏感会议纪要整理、普通文档分类、内部知识库检索、草稿生成等。这类动作通常不涉及敏感数据、不改变系统状态、不直接影响第三方权益，错误也容易修正。企业可允许自动执行，但应保留日志、设置事后抽查和用户反馈机制。审批主体主要是业务使用部门，合规或信息安全部门可以抽样检查，通常不需要伦理审查委员会介入。

第二类是中风险内容生成或内部建议动作，例如起草邮件、合同初稿、客户回复建议、内部报告、合规分析建议等。此类场景的风险在于AI结果可能被员工采纳，但在正式对外发送或生效之前，人类仍有机会复核。审批节点应设置在“AI输出被正式使用之前”。普通业务文本可由经办人员或业务负责人确认；合同、承诺、法律意见、监管材料或重大客户沟通，应由法务、合规或管理层参与确认。

第三类是敏感数据处理动作，例如批量导出客户信息、调取员工薪酬绩效数据、调用敏感个人信息、访问商业秘密、向外部工具传输内部数据、将数据用于检索增强或长期记忆等。这类动作一旦失控，可能触发个人信息保护、数据安全、商业秘密保护和网络安全责任。审批节点应设置在数据调用前、导出前、外发前或第三方工具调用前。普通业务数据由数据所属业务负责人审批；个人信息由个人信息保护负责人或合规部门参与；敏感个人信息、批量个人信息、核心客户数据、商业秘密或重要经营数据，应由业务负责人、法务、合规和信息安全共同审批。涉及大规模个人信息处理、敏感群体、个人重大权益或数据再利用的，应提交伦理审查委员会或伦理治理机构进行场景级审查。

第四类是对外发送、承诺或交易动作，例如自动发送报价、确认订单、发送合同文本、提交投标文件、作出退款或赔付说明、对外发布公告、向监管机构提交材料等。这类动作可能构成企业意思表示，影响合同成立、履行或解释，并可能形成证据。审批节点应设置在对外发送前或结果生效前。普通客户回复由业务负责人审批；涉及合同、报价、赔偿、违约、解除或争议处理的，由法务审批；涉及监管提交、公开发布、重大交易或重大客户的，应由业务负责人、法务、合规和管理层共同审批。

第五类是资金、财务和资产处置动作，例如付款、退款、报销、采购下单、账款核销、自动开票、资产处置或金融交易。此类动作直接影响企业财产，错误追回成本较高，也可能涉及内控、审计和舞弊风险。笔者建议，资金支付、退款、采购确认和账款核销原则上不得由AI智能体端到端自动完成。智能体可以整理资料、计算金额、提示异常和生成流程建议，但执行前应设置双重审批或专项审批。通常由业务经办部门初审，财务部门复核，超过金额阈值的由管理层审批；涉及争议、赔偿或异常交易的，法务应当参与。涉及金融消费者、个人信用、用户资产权益等高影响场景的，还应考虑伦理审查。

第六类是系统权限、生产环境和安全配置动作，例如修改生产代码、执行脚本、修改数据库、删除或覆盖文件、提升账号权限、修改访问控制策略、删除日志、接入新的MCP Server、插件、外部工具或API等。这类动作可能导致系统中断、数据损坏、权限扩散或安全漏洞。审批节点应设置在工具调用前、权限变更前、生产环境执行前和日志删除前。IT或系统负责人审批技术可行性，信息安全负责人审批安全影响，涉及业务连续性的由业务负责人确认，重大系统变更应进入变更委员会或管理层审批。删除日志、修改审计记录、自行提升权限等动作，原则上应禁止智能体自主执行。

第七类是影响个人重大权益的动作，例如招聘筛选、候选人排序、绩效评价、岗位调整建议、客户信用评分、拒赔、投诉处理、权益限制，以及涉及未成年人、老年人、残障人士、心理陪伴、情绪识别、拟人化互动或用户依赖风险的智能体服务。此类场景容易涉及自动化决策透明度、公平歧视、人的尊严和弱势群体保护。智能体应定位为辅助决策工具，不应直接作出最终决定。审批节点应设置在AI建议转化为最终决定之前，并保留解释、申诉、复核和人工纠正渠道。HR场景由HR负责人和用人部门确认，重大劳动事项由HR和法务共同审查；消费者权益场景由业务负责人、客服负责人、法务或合规参与；涉及弱势群体、个人重大权益、公平歧视或心理影响的，应当纳入伦理审查或定期复审。

第八类是禁止自治动作，例如删除或修改审计日志、绕过安全策略、自行提升权限、自行修改权限边界、创建高权限账号、未经批准连接未知第三方工具、未经批准披露敏感数据、未经伦理审查擅自扩大高风险智能体使用范围等。这类动作不应设计为“审批后允许智能体执行”，而应在系统层面禁止智能体自主执行。确需例外处理的，应由业务负责人、法务、合规、信息安全和管理层共同确认；涉及高伦理风险的，还应提交伦理审查。

04.审批主体与场景的映射

为了避免审批主体设计流于抽象，企业可以建立“场景—动作—节点—人员”的审批矩阵。该矩阵既是智能体部署前的合规设计工具，也是后续系统开发、权限配置、内部审计和外部争议举证的基础文件。

这张矩阵表把“谁来审批”从模糊的管理要求，转化为可执行的组织分工。笔者在为企业设计AI治理流程时，通常会建议企业不要简单采用“直属上级审批”的传统思路，而应按照风险性质匹配审批主体：业务风险由业务负责人判断，法律后果由法务判断，数据处理由个人信息保护或数据合规负责人判断，安全配置由信息安全负责人判断，资金风险由财务判断，重大伦理风险由伦理审查委员会或伦理治理机构判断。

05.审批节点如何具体设计

第一步，是绘制智能体行动链条。企业在设计审批节点前，应先梳理谁触发智能体、智能体接收什么输入、访问哪些数据、调用哪些工具、是否写入或删除数据、是否对外发送信息、是否触发交易或系统变更、结果是否自动生效、出错后是否可以回滚，以及是否涉及个人重大权益、公共利益、公平公正、隐私安全或其他伦理风险。只有把行动链条画清楚，才能判断审批节点应放在任务启动前、数据调用前、工具调用前、结果生效前、异常发生时，还是执行后审计阶段。

第二步，是建立“动作—风险—节点—人员—伦理审查”审批矩阵。矩阵至少应包括业务场景、智能体动作、涉及数据、调用工具、风险等级、是否涉及伦理风险、是否需要伦理审查、审批节点位置、审批主体、审批材料、审批后系统动作、日志和审计要求。企业未来开展AI合规项目时，这张矩阵往往可以直接转化为律师交付成果，也可以作为技术团队配置权限和工作流的实施依据。

第三步，是让审批人“看得懂风险”。审批请求不应只是弹出“是否同意”。审批人至少应看到智能体身份、触发用户、业务场景、拟执行动作、调用工具或系统、涉及数据类型、是否涉及个人信息或商业秘密、是否涉及个人重大权益或弱势群体、是否对外发送或影响第三方、是否可撤销或回滚、智能体给出的执行理由、关键依据或来源、风险等级、伦理风险提示，以及批准、驳回、修改、升级、暂停或提交伦理审查等可选操作。重大风险动作的审批人还应填写简要理由，否则审批记录虽然存在，却难以证明审批具有实质性。

第四步，是确保审批节点由系统强制执行。审批节点不应只存在于制度文本中。系统应确保未经审批不得执行，审批超时默认拒绝，审批被驳回后不得通过重新提示绕过，审批仅对本次动作有效，高风险动作不得设置永久白名单，动作内容变化后必须重新审批，权限提升必须重新审批，审批记录不得由智能体删除或修改，审批内容与实际执行动作应绑定，防止“审批A、执行B”。^[5]伦理审查要求也不得被普通业务审批替代或绕过。

这一点对企业尤为关键。很多合规制度失效，并不是因为企业没有写制度，而是因为制度没有转化为系统控制。AI智能体的审批节点尤其如此：如果审批只是写在制度里、提示词里或培训材料里，而底层工具权限仍然开放，那么高风险动作仍可能在异常状态下发生。真正有效的审批节点，应当是系统级控制，而不是提示词层面的自我约束。

06.企业应形成哪些制度文件和法律服务交付物

从法律服务转化角度看，AI智能体审批节点设计不应停留在口头建议，而应形成可交付、可实施、可审计的文件体系。笔者建议，企业至少应形成以下制度文件和项目交付物。

上述文件中，《AI智能体高风险动作审批矩阵》和《AI智能体动作风险分级清单》最容易被企业管理层理解，也最容易转化为业务流程和系统配置；《AI智能体权限与工具调用白名单》则是将法律要求转化为技术权限的关键桥梁；《AI智能体伦理审查指引》可以帮助企业在新规框架下识别哪些场景需要提交伦理审查、哪些场景只需要合规初筛、哪些场景必须暂停或限制部署。

对于律师而言，这类项目的价值不只在于出具一份法律意见书，而在于帮助企业完成“规则—流程—系统—证据”的闭环设计。换言之，律师不仅是风险提示者，也应当成为AI治理结构的设计者。

07.部署、运行和审计中的节点管理

审批节点不是一次性设计。AI智能体上线前、上线中和上线后，都需要持续管理。

在部署前，企业应完成用例风险评估、数据影响评估、伦理风险初筛、动作清单梳理、高风险动作识别、审批节点矩阵设计、权限配置审查、日志方案确认、系统控制测试以及回滚和应急方案确认。必要时，应提交伦理审查委员会或伦理治理机构审查。部署前审查的目标，是确认智能体不会在没有审批节点和伦理审查保护的情况下接触高风险工具、敏感数据、关键系统或重大个人权益场景。

在部署中，企业不宜一次性开放全部能力。较为稳妥的做法，是先进行内部小范围试点，从低风险场景开始，限定用户范围、数据范围和工具范围，再逐步开放权限。灰度发布的重点，不只是测试智能体能否完成任务，还要测试其在高风险动作前是否会被正确拦截，是否会触发审批，是否会在未批准时停止执行，伦理审查结论是否被落实到系统控制中。

在运行中，企业应重点监控审批节点触发次数、审批通过率、驳回率、审批响应时间、智能体绕过审批尝试、异常工具调用、越权访问、批量导出、对外发送、重复失败或循环调用，以及涉及伦理风险的投诉、申诉、不公平结果或异常输出。发现异常后，应触发自动暂停、人工复核、权限降级、安全调查、节点重评估、伦理复审和整改闭环。

审批节点本身也需要审计。长期接近100%的审批通过率、极短审批时间、长期空白审批意见、同一审批人集中处理大量高风险动作，都可能提示审批已经形式化。审计指标可以包括高风险动作识别准确率、审批节点触发率、审批驳回率、未审批执行事件数量、审批后错误发生率、日志完整率、整改完成率、涉及个人重大权益场景的申诉率、智能体建议被人工推翻比例以及伦理审查结论落实率。审计和伦理复审结果应反过来用于调整风险分级、增减审批节点、优化审批界面、调整审批主体、修改权限配置、增加系统拦截、开展专项培训或暂停高风险场景。

08.审批节点与企业法律责任

当AI智能体发生错误或造成损害时，企业很难仅以“这是AI自主行为”作为免责理由。真正有意义的抗辩，是证明企业已经在部署前、运行中和事后建立了合理的风险识别、审批节点、权限控制、伦理审查、监测审计和应急纠偏机制。

在个人信息保护场景中，审批节点可以帮助企业证明其已识别处理目的和必要性，已限制智能体访问范围，已对敏感个人信息、批量导出、外部传输和第三方调用设置额外控制，并保留处理记录和异常处置记录。在数据安全和商业秘密保护场景中，审批节点可以证明企业已进行数据分类分级，限制智能体接触核心数据，对外部传输和工具调用进行审批，并建立访问日志和异常告警。

在合同和商事责任场景中，审批节点可以证明AI生成内容不当然构成企业最终意思表示，对外报价、承诺、合同确认须经授权人员审批，智能体不得越权确认交易，企业内部授权链条清晰，错误交易有纠偏和追责机制。在人力资源、消费者权益和科技伦理治理场景中，审批节点和伦理审查可以证明AI智能体仅作为辅助决策工具，重大权益事项由人类最终决定，企业保留复核、申诉和纠正机制，并已对自动化偏见、不公平结果、人的尊严、弱势群体保护和隐私安全进行评估和复审。

从合规举证角度看，审批节点的价值不只在于“防止错误发生”，还在于帮助企业证明“即便发生错误，企业也已尽到合理注意义务”。这正是审批节点与普通流程审批的区别：它不是管理层的形式确认，而是企业AI治理责任的证据结构。

结语：审批节点是AI智能体从高风险工具走向可信生产力的制度接口

AI智能体带来的不是单纯的工具效率提升，而是企业治理结构的再设计。审批节点是连接智能体自主行动能力与企业组织责任的关键制度接口；伦理审查则是判断高风险智能体场景能否部署、如何部署和是否继续部署的重要治理机制。

企业真正需要解决的问题，不是简单要求“人要参与”，而是明确：人在什么位置参与、基于什么信息参与、以什么权限参与、哪些场景需要伦理审查、审批结果如何被系统执行、审批和伦理审查记录如何被审计和追责。

笔者建议，企业在部署AI智能体前，应将审批节点作为核心治理对象，与权限管理、数据分类分级、工具调用控制、伦理审查、日志留痕、持续监控和责任分配同步设计。只有这样，AI智能体才能从一个高风险自动化工具，转化为可控、可审计、可问责，也符合负责任创新要求的企业生产力系统。

参考来源

[1] OWASP Agentic Security Initiative：《Agentic AI - Threats and Mitigations》，https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/；《OWASP Top 10 for Agentic Applications 2026》，2025年12月9日，https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/。

[2] 澳大利亚信号局下属澳大利亚网络安全中心（ASD ACSC）、美国网络安全与基础设施安全局（CISA）、美国国家安全局（NSA）、加拿大网络安全中心、新西兰国家网络安全中心、英国国家网络安全中心：《Careful Adoption of Agentic AI Services》，2026年4月30日，https://www.cisa.gov/resources-tools/resources/careful-adoption-agentic-ai-services；PDF地址：https://media.defense.gov/2026/Apr/30/2003922823/-1/-1/0/CAREFUL%20ADOPTION%20OF%20AGENTIC%20AI%20SERVICES_FINAL.PDF。

[3] Infocomm Media Development Authority of Singapore（IMDA）：《Model AI Governance Framework for Agentic AI, Version 1.5》，2026年5月20日，https://www.imda.gov.sg/-/media/imda/files/about/emerging-tech-and-research/artificial-intelligence/mgf-for-agentic-ai.pdf。

[4] 工业和信息化部、国家发展改革委、教育部、科技部、农业农村部、国家卫生健康委、中国人民银行、国家网信办、中国科学院、中国科协：《人工智能科技伦理审查与服务办法（试行）》（工信部联科〔2026〕75号），2026年3月20日发布并施行；商务部政策库转载页面：https://policy.mofcom.gov.cn/claw/clawContent.shtml?id=105505；人民日报报道《十部门印发人工智能科技伦理审查与服务办法》，2026年4月5日，https://paper.people.com.cn/rmrb/pc/content/202604/05/content_30149307.html。

[5] 新加坡网络安全局（CSA）：《Addendum on Securing AI Systems》，2026年，https://www.csa.gov.sg/resources/publications/addendum-on-securing-ai-systems/。

The content of this article is intended to provide a general guide to the subject matter. Specialist advice should be sought about your specific circumstances.