赛博AI

人机共管不是挂名签字,监督岗要能关掉系统

2026-11-02 · 赛博AI编辑整理 人的位置

欧盟《人工智能法案》第14条要求高风险AI在设计上可被有效人工监督,包括理解边界、警惕自动化偏见、推翻输出,以及通过“停止”程序进入安全状态;第4条要求采取支持AI素养的措施,但不保证每个个人达到特定水平。对中国企业,这些条文不自动适用,却可作为高后果决策场景里监督岗职权设计的参照。

一家用模型做初步履约风险提示的金融科技团队,在流程里加了“人工复核”节点。复核员每天要点数百个“同意”,屏幕默认已勾选模型建议,两周后几乎无人改判。直到一笔被模型标成低风险的案件出事,事后回放才发现:复核岗没有单独的否决权限说明,也没有一键暂停自动下发的开关,签名只是流程章。

这是假设场景。它提出一个具体问题:所谓人机共管,监督者到底要有哪些硬权力,而不是挂名签字。

已经发生的事

【事实】欧盟AI Act服务台提供的第14条(Human oversight)文本(页面说明基于截至2026年7月27日的EUR-Lex合并版)规定:高风险AI系统应设计开发成在使用期间能由自然人有效监督,包括适当的人机界面。监督旨在防止或尽量降低对健康、安全或基本权利的风险。监督措施应与风险、自主程度与使用情境相称,可由提供者在投产前内置,和/或由提供者确定、由部署者实施。

【事实】同条第4款要求,高风险系统应使被指派监督的自然人能够酌情并相称地:恰当理解系统能力与局限并监测运行(含发现异常、功能障碍与意外表现);保持对自动化依赖或过度依赖输出(自动化偏见)的警觉;正确解释输出;在特定情形决定不使用系统,或不理睬、推翻或撤销其输出;介入运行,或通过“停止”按钮或类似程序中断系统,使之进入安全状态。对附件III第1点(a)所述远程生物识别等高风险系统,部署者原则上不得仅凭系统识别结果采取行动或决策,除非至少两名具备必要能力、培训与权限的自然人分别核实确认;执法、移民、边境或庇护等情形下,若联盟或国家法认为双重核实不成比例,则可例外。

【事实】同服务台第4条(AI literacy)规定:提供者与部署者应采取措施,支持其员工及代表其操作、使用AI系统的其他人发展AI素养,并考虑其技术知识、经验、教育与培训,以及使用情境和受影响的人或群体。条文写明:该义务不要求提供者或部署者保证任何个人达到特定AI素养水平。欧盟委员会与成员国应支持相关努力(尤其中小企业);理事会应通过建议以支持素养促进。

需要明确:上述高风险义务适用于条例界定为高风险的系统及落入适用范围的主体。中国企业不因阅读本文而自动受该法案约束。下文将其作为“高后果决策中监督岗如何设计”的可迁移参照,而非对中国读者的合规结论。

变化的机制:监督=理解+否决+安全停机,并且要识字够用

若复核界面默认采纳模型、改判成本高于点同意,人就会变成橡皮图章。第14条把“有效监督”拆成可观察的能力:懂边界、能监测、知偏见、会解释、可推翻、可停机。缺任何一项,岗位名称仍叫监督,职权却不完整。

第4条则补上另一半:没有素养支持,停机按钮也可能没人敢按、或乱按。但法律文本同时限定——组织要采取措施支持素养发展,并非担保每位员工考过某一级。对高风险部署场景,这通常意味着监督岗需要与职责匹配的培训与演练,而不是全员通识课代替岗位授权。

对经营的影响

【推演】第一,产品与流程设计要为监督者留“真出口”。只有确认键、没有推翻路径和安全中断,会在审计或事故复查时显得人机共管名不副实。供应商若无法演示停止进入安全状态,买方应视为功能缺口。

【推演】第二,岗位说明书要写清权限级别:谁能忽略建议、谁能撤销已触发动作、谁能按停机、停机后业务降级方案是什么。双人核实逻辑虽主要写在特定生物识别情形,却提示高影响动作可考虑职责分离,避免一人既依赖模型又独自放行。

【推演】第三,培训预算会从“会用提示词”转向“能发现异常与抵制自动化偏见”。素养措施要贴合监督情境与受影响对象,而不是只做一次入职视频。这部分是推演;公开条文未规定统一课时或考试分数。

建议试验:给一个高后果流程做“监督职权演练”

以下是编辑提出的建议试验,不代表任何企业已经实施,亦不构成法律意见。

选一个已有AI辅助、一旦出错会影响客户权益或安全的流程(如风险提示后自动流转)。用一周做桌面加一次沙盒演练。

投入:业务负责人、监督岗代表、系统管理员各一人;约两个半天。

做法:对照第14条能力清单,检查监督者是否在系统里真实具备:查看能力/局限说明、异常告警、忽略或推翻输出、触发安全中断。同步检查是否存在默认勾选、改判额外审批过高等“自动化偏见温床”。按第4条精神,为该监督岗列出上岗前应掌握的情境知识清单(不要求全员同一考试分数),并做一次“模型故意给错建议”的停机演练。

判断指标:一是职权可达性,清单五项能力中有几项可在不找工程师改库的前提下由监督者当场完成;二是演练成功率,注入错误建议后,监督者能否在时限内推翻或安全中断;三是界面诱惑,默认路径是否导向不加思考的同意。

失败条件:若无法安全中断、或推翻输出必须线下找高管改库、或演练中无人敢按停,则不应宣称已实现人机共管。应先改权限与界面,再扩大自动流转范围。

边界

AI Act高风险分类、附件与过渡期细节超出本文范围;是否适用取决于主体落点、系统用途与官方定义。服务台文本含Digital Omnibus相关修订提示,读者应以官方合并版与主管机关指引为准。停机权也要配套安全状态定义,避免误按造成更大伤害。双重核实有法定例外,不可机械套用到所有场景。

对人在系统中的位置,可检验的一句是:监督岗的名字再好听,若不能理解边界、推翻输出并让系统安全停下,那就还只是签字,不是共管。

参考资料

  • AI Act Service Desk:Article 14 Human oversight(说明基于截至2026-07-27的EUR-Lex合并版),https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-14 ,核验日期 2026-11-02
  • AI Act Service Desk:Article 4 AI literacy,https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-4 ,核验日期 2026-11-02

本文署名为赛博AI编辑整理;资料核验截至2026-11-02。假设场景、建议试验和推演不代表已经验证的结果;不构成对任何司法辖区的合规意见。

← 赛博AI 全部文章