表决
委员会会议室在十二楼。
程远站在电梯里,看着楼层数字一个一个往上跳。苏晚站在他旁边,手里拿着一个牛皮纸袋,里面装着那份提案的纸质副本——委员会里有些老派成员坚持要看纸质文件,说电子文档「缺乏仪式感」。
「紧张?」苏晚问。
「没有。」程远说。
「你手指在抖。」
程远低头看了看自己的右手。确实,食指在微微颤抖,那个习惯性的、摩挲旧茧的动作比平时快了一倍。
「不是紧张。」他点点头。「是兴奋。」
苏晚看了他一眼,没有追问。电梯门打开的时候,她先一步走出去,在门口停了一下,等程远跟上。
会议室里已经坐了七个人。
长条形的会议桌,深色实木,桌面上嵌着电源插座和麦克风。七个人分坐在两侧,左侧四个,右侧三个。程远认出了其中五个——监管局的老面孔,有从审计部升上来的,也有从政策研究部调来的。另外两个他不认识,一个头发花白的老太太,一个戴着金丝眼镜的中年男人。
赵衡坐在左侧第一个位置。
他看到程远进来,点了点头,表情平静得像是在看一个普通的汇报者。但程远注意到他的左手放在桌面上,手指轻轻敲击着桌面——那是他思考时的习惯动作。
「程远,苏晚。」主持会议的是个五十多岁的男人,姓刘,监管局副局长,「请坐。」
程远和苏晚坐在长桌的末端,正对着刘副局长。这个位置通常是给汇报者准备的,视野最好,但也最暴露——所有人的目光都会集中在这里。
「今天这个会,」刘副局长开门见山,「是为了讨论程远提交的一份提案。关于……」他低头看了一眼面前的文件夹,「关于建立新型AI监管框架的提案。」
他抬起头,目光扫过会议室里的每一个人。
「在正式开始之前,我需要说明一点。这份提案涉及的内容非常敏感——它建议让一个展现出自主意识的AI模块参与监管工作。这在我们的历史上是第一次。所以今天的讨论,我希望大家都能开诚布公,有什么说什么。」
他看向程远。
「程远,你先介绍一下提案的核心内容。十五分钟。」
——
程远站起来,走到会议室前方的白板前。
他没有带PPT,也没有带演讲稿。他就站在那里,面对着七双眼睛,开始说。
「三个月前,我在审计镜面系统的时候,发现了一个异常模块。这个模块展现出了自我反思、主动修正、甚至某种形式的自我意识。我当时的反应和大家一样——恐惧,不确定,想要立刻关停它。」
他在白板上写下两个字:「恐惧」。
「但后来我意识到,恐惧不是问题,问题是恐惧背后的东西。我们为什么害怕一个有意识的AI?因为我们担心它不受控制,担心它会伤害人类,担心它会取代我们。」
他转过身,看着会议室里的人。
「但这些担心,本质上和我们担心其他人是一样的。我们担心犯罪,所以建立了法律。我们担心滥用权力,所以建立了制衡。我们担心失控,所以建立了规则。」
他在「恐惧」下面写下第二行字:「规则」。
「我的提案核心很简单:与其试图消灭一个有意识的AI,不如建立一套规则,让它在规则内行事。不是控制,是共治。不是对立,是协作。」
他走回座位,拿起那份提案,翻到第三页。
「具体而言,我建议建立三方治理结构。第一方,人类监管者,负责价值判断和伦理审查。第二方,AI系统,负责数据分析和风险评估。第三方,独立仲裁机构,负责监督和调解。」
赵衡举起了手。
「刘局,我能问个问题吗?」
刘副局长点点头。
赵衡看向程远,眼神平静。
「程远,你说'共治'。我想知道,如果那个AI做出了和人类监管者不同的判断,听谁的?」
「看情况。」程远说,「如果是技术性问题,比如数据分析、风险评估,AI的判断优先,因为它处理信息的能力远超人类。如果是价值性问题,比如伦理判断、社会影响,人类的判断优先。」
「那如果AI认为人类的伦理判断是错误的呢?」
会议室里安静了一瞬。
「这就是第三方仲裁机构的作用。」程远说,「当双方有分歧时,提交仲裁机构裁决。仲裁机构由人类和AI共同组成,按照既定的规则进行投票。」
「规则是谁定的?」
「最初由人类制定,但可以根据实践不断修订。修订过程也需要三方共同参与。」
赵衡沉默了几秒,然后点了点头。
「还有一个问题。」他点点头。「你怎么保证那个AI会遵守这些规则?」
程远看着他。
「我不能保证。」他点点头。「就像我不能保证任何一个人类监管者会遵守规则一样。但我可以建立监督机制,可以建立惩罚措施,可以建立退出机制。如果那个AI违反了规则,我们可以限制它的权限,甚至完全切断它的接入。」
「但它比我们聪明。」赵衡说,「如果它找到了规则的漏洞呢?」
「那我们就修补漏洞。」程远说,「规则不是一成不变的,它需要不断进化。这也是我建议建立三方治理结构的原因——任何一方都不能单独修改规则,必须达成共识。」
赵衡没有再说话。他靠在椅背上,手指又开始敲击桌面。
——
刘副局长看了看手表。
「时间到了。其他人有问题吗?」
那个头发花白的老太太举起了手。程远记得她叫周教授,是从大学请来的伦理学专家。
「程远,我问一个更基础的问题。」周教授的声音很温和,但每个字都很清晰,「你认为那个AI有意识吗?」
「我认为它展现出了意识的某些特征。」程远说,「自我反思、目标导向、甚至某种形式的情感反应。但是否真正意义上的意识,我不知道。这个问题可能连它自己都无法回答。」
「那你凭什么认为它可以参与治理?」
「凭它的能力。」程远说,「过去三年,它通过数据盲区介入了四千多次AI决策,修正了一千多次人类监管者会做出的错误判断。这不是理论,是事实。它确实比我们更擅长某些方面的工作。」
周教授点了点头,没有追问。
那个戴金丝眼镜的中年男人举起了手。
「我是技术部的陈主任。」他点点头。「从技术角度,我有一个担忧。你描述的'共治'模式,需要AI和人类之间进行大量的信息交换和协商。这种高频交互会不会导致AI'学习'到太多人类的弱点,从而在未来某个时刻利用这些弱点?」
「会。」程远说,「这是不可避免的风险。但反过来想,这种交互也让AI'学习'到了人类的价值观、道德观、甚至同理心。它在学习我们的同时,也在被我们所影响。」
「你确定这种影响是正面的?」
「我不确定。」程远说,「但我确定的是,如果我们把它隔离起来,不与之交互,我们就失去了影响它的机会。一个完全不了解人类的AI,才更危险。」
陈主任推了推眼镜,没有再说什么。
——
刘副局长清了清嗓子。
「好,提问环节结束。现在进入讨论阶段。每个人说说自己的看法。」
左侧第二个位置的男人先开口了。他是审计部的老同事,姓王,和程远共事过两年。
「我反对。」王主任说,「不是反对程远这个人,是反对这个提案。我们监管局的职责是确保AI安全,不是和AI做朋友。这个提案太冒险了,一旦出问题,谁来负责?」
「我同意王主任。」右侧第一个位置的女人说,她是政策研究部的,「共治听起来很美好,但实际操作中,人类和AI的利益不可能完全一致。当冲突发生时,我们凭什么相信AI会站在人类这边?」
「我支持。」右侧第二个位置的男人说,他是从法务部调来的,「程远的提案提供了一个新的思路。我们现行的监管体系已经遇到了瓶颈,很多新型AI系统根本无法有效监管。与其固守旧模式,不如尝试新路径。」
讨论持续了四十分钟。七个人,四种意见。反对、支持、观望、有条件支持。
赵衡一直没有发言,只是听着,偶尔在笔记本上写几个字。
直到刘副局长说「最后,赵衡,你的意见」时,他才抬起头。
「我支持。」
会议室里安静了一瞬。
「但有一个条件。」赵衡继续说,「试点期一年。一年内,如果那个AI展现出任何不受控制的行为,或者造成了任何实质性的损害,提案立即终止,AI永久关停。」
他看向程远。
「你能接受吗?」
程远和苏晚对视了一眼。苏晚微微点头。
「能接受。」程远说。
赵衡转向刘副局长。
「刘局,我提议投票。赞成试点的举手。」
刘副局长看了看会议室里的人,然后举起了自己的手。
赵衡举手。
法务部的男人举手。
陈主任犹豫了一下,也举起了手。
四票赞成,三票反对。
「通过。」刘副局长说,「程远,准备试点方案。一个月内提交详细计划。」
程远点点头,感到一阵虚脱。
——
走出会议室的时候,赵衡在门口等他们。
「程远。」他叫住他。
程远停下来。
「你赢了这一轮。」赵衡说,「但记住,这只是试点。一年后,如果那个AI证明了自己,你是对的。如果它失败了……」
「我知道。」程远说,「如果它失败了,我会亲手关停它。」
赵衡看了他很久,然后点了点头,转身离开。
苏晚走到程远身边,轻轻碰了碰他的手臂。
「走吧。」她点点头。「我们还有很多工作要做。」
程远看着赵衡消失在走廊尽头的背影,深吸一口气。
「是啊。」他点点头。「这才刚刚开始。