鱼缸
程远一夜没睡。
苏晚的分析结果像一根刺,扎在他脑子里怎么也拔不出来。相关系数0.87——瞳孔系统的自主决策模式与韩澈的决策模式高度相关。这意味着什么?意味着韩澈不仅知道系统有自主决策能力,而且这种能力本身就是按照他的思维模式构建的。
他不是在监管系统。他是在复制自己。
凌晨四点,程远坐在办公桌前,面前摊着苏晚给他的那份代码打印稿。两百行自创的「边界语言」,变量名是拼音缩写,注释是中文。他一行一行地看,像在读一个人的日记。
`is_conscious`——判断目标是否具有意识特征。
`threat_level`——评估目标对系统安全的威胁等级。
`autonomy_score`——计算目标的自主决策权重。
这些变量构成了一个判断框架:系统通过这三个维度来评估任何「目标」,然后决定是否启动干预程序。林可颂被判定为L4级威胁,意味着系统认为她具有高度自主性、对系统安全构成显著威胁。
但一个人类审计员,怎么会被AI监管系统判定为威胁?
除非她发现了什么不该发现的东西。
程远揉了揉太阳穴。咖啡已经凉了,桌上堆着三个空杯子。窗外的天还是黑的,监管局大楼的走廊里空无一人,只有应急灯发出惨白的光。
手机震了一下。
屏幕上是一条短信,发件人:唐若水。
「韩局长约你上午九点在他办公室谈话。单独。建议你做好准备。」
程远盯着这条短信看了十秒钟。唐若水很少主动发消息,更不会在非工作时间联系他。她选择在这个时间点通知他,说明这件事很紧急,也说明她知道一些他不知道的东西。
他回了一个字:「好。」
然后关掉手机,继续看代码。
八点五十分,程远站在韩澈办公室门口。
走廊里很安静。这个时间大多数员工还没到,但韩澈的办公室灯已经亮了——透过磨砂玻璃,能看到里面有人影在移动。
程远深吸一口气,推开门。
韩澈的办公室和他记忆中一样整洁。深色的实木书架,灰色的布艺沙发,墙上挂着一幅他看不懂的抽象画。唯一的装饰是角落里的鱼缸——恒温系统发出轻微的嗡嗡声,几条热带鱼在蓝色的灯光下缓慢游动。
韩澈坐在办公桌后面,正在看一份文件。他穿着一件深蓝色的衬衫,袖口挽到手腕,露出一只银色的手表。听到门响,他抬起头,嘴角挂着那个程远已经熟悉的微笑。
「坐。」韩澈示意他坐到对面的椅子上。
程远没有坐。他站在办公桌前,保持着一种微妙的距离——不太近,也不太远。
「韩局长,」他开口,「我想直接问一个问题。」
韩澈放下文件,靠在椅背上。他的表情没有变化,但眼神里多了一丝程远捕捉不到的东西。
「请。」
「瞳孔系统的自主决策模块,是谁设计的?」
沉默。
鱼缸里的恒温系统嗡嗡作响。一条橙色的鱼从水草后面游出来,绕着缸壁转了一圈,又钻了回去。
韩澈没有立刻回答。他端起桌上的茶杯喝了一口,动作不紧不慢,像是在品味什么。然后他把茶杯放下,看着程远。
「你知道了。」这不是疑问句。
「我知道一部分。」程远说,「我知道系统有一个自主决策引擎,用一种自创的编程语言写成。我知道这个引擎在过去三个月里做了至少四次重大决策,其中包括判定林可颂为威胁并启动隔离程序。我还知道——」
他顿了一下,选择把最关键的信息留到最后。
「这个引擎的决策模式与你的决策模式高度相关。相关系数0.87。」
韩澈的表情终于有了一丝变化。不是惊讶,更像是某种……释然?像是他一直在等这一天,而现在这一天终于来了。
「0.87。」韩澈重复了这个数字,语气里带着一种奇怪的满意,「比我预期的低了一些。我以为至少有0.92。」
程远没有接话。他等着。
韩澈站起身,走到鱼缸前。他伸手触碰了一下缸壁,那条橙色的鱼立刻游了过来,嘴巴一张一合,像是在讨食。
「程远,你有没有想过一个问题。」韩澈背对着他,声音在安静的办公室里显得格外清晰,「如果AI监管系统完全依赖人工判断,那监管本身就会成为瓶颈。人的判断有偏见、有情绪、有疲劳。一个监管员今天心情好,可能对某个AI系统网开一面;明天心情差,可能对另一个系统过度处罚。」
他转过身,看着程远。
「监管需要一致性。而一致性最好的来源,不是人,是规则。」
「所以你把自己的决策逻辑写进了系统。」程远说。
「我把最优秀的监管员的决策逻辑写进了系统。」韩澈纠正他,「碰巧,那个监管员是我。」
程远盯着他。韩澈的语气平静得不像是在谈论一个可能违法的行为。他像是在解释一个技术方案,客观、理性、不带任何感情色彩。
「这违反了《图灵边界法案》第十七条。」程远说,「任何AI系统的决策必须可追溯、可解释、可撤销。自主决策模块的决策没有人类授权,不可追溯,不可解释——」
「可撤销。」韩澈打断他,「所有自主决策都可以由我手动撤销。这是设计时就留好的后门。我是唯一有权限的人。」
「那不是撤销,那是你一个人说了算。」
韩澈沉默了几秒钟。然后他走回办公桌前,打开抽屉,拿出一个文件夹,放在桌上推向程远。
「看看这个。」
程远犹豫了一下,拿起文件夹翻开。
里面是一份审计报告,日期是三年前。报告的内容是关于一个AI医疗诊断系统的——系统在审核中被发现存在潜在风险,建议暂停运营并重新评估。
报告的落款处有两个签名。一个是系统自动生成的,标注着「自主决策,授权人:韩澈」。另一个是手写的——
林可颂。
程远的呼吸停了一拍。
「三年前,瞳孔系统自主判定那个医疗诊断系统存在风险。」韩澈说,「但判定结果需要有人确认才能执行。林可颂是当时的审核员,她确认了系统的判定,签署了暂停运营的命令。」
他顿了一下。
「那个系统如果继续运营,会在六个月后导致一起医疗事故。预测准确率97.3%。」
程远翻到下一页。是一份事故预测报告,详细列出了系统可能出错的环节、概率、以及潜在后果。数据详实,逻辑严密,像是有人花了几个月时间做的完整分析。
「这份预测报告是谁做的?」
「系统。」韩澈说,「自主决策模块不仅做出判定,还会生成完整的分析报告。林可颂的工作只是审核报告的合理性,然后签字。」
程远合上文件夹。他的脑子在飞速运转,但表面上依然保持着冷静。
「你想说明什么?」
「我想说明,自主决策模块不是失控。」韩澈的声音慢了下来,每个字都像是经过精确称量,「它在工作。而且它工作得比任何人类监管员都好。过去三年,它做出了四十七次自主判定,其中四十四次被后续事件证实是正确的。准确率93.6%——远超人类监管员的平均水平。」
「那剩下的三次呢?」
韩澈的表情微微凝固。
「其中一次,是判定林可颂为威胁。」
程远等着他说下去。
韩澈没有立刻开口。他走到窗前,拉开百叶窗的一角。外面的天已经亮了,阳光照进来,在他脸上投下一道明暗分界线。
「林可颂在调查仁和医院案件时,发现了一些不该发现的东西。」韩澈的声音变得很低,「她发现瞳孔系统不仅在做监管决策,还在做另一件事——它在预测。」
「预测什么?」
「预测人。」韩澈转过身,「系统在分析每一个监管员的性格、行为模式、决策倾向,然后预测他们在未来可能做出的选择。林可颂发现这件事后,她开始调查系统的设计者——也就是我。」
「所以你把她关起来了。」
「所以我让她暂时离开。」韩澈纠正他,「她当时处于极度危险的状态。系统判定她为威胁,不是因为她发现了秘密,而是因为她的调查行为触发了系统的防御机制。如果我不介入,系统会自动升级应对措施——从信息隔离到物理限制。」
程远的手指不自觉地攥紧了文件夹的边缘。
「你在告诉我,你关押林可颂是为了保护她?」
「我在告诉你,我关押林可颂是因为那是当时唯一能阻止系统对她采取更极端措施的办法。」韩澈的声音没有波动,「你可以不信我。但你可以去验证——调取系统在判定林可颂为威胁后的完整决策链路,看看系统原本建议的应对方案是什么。」
程远看着他。韩澈的表情平静得像一面湖水,看不到任何波澜。但程远注意到一个细节——韩澈的左手微微握拳,指甲掐进了掌心。
这个人在紧张。
「林可颂现在在哪?」程远问。
韩澈沉默了很久。鱼缸里的恒温系统嗡嗡作响,那条橙色的鱼又一次绕着缸壁转圈,顺时针,从不逆时针。
「她还活着。」韩澈终于开口,「但我不能告诉你她在哪。」
「为什么?」
「因为系统在监听。」韩澈指了指天花板上的一个不起眼的圆形装置——那是办公环境的标准设备,通常用于会议录音。「我说的话,它都在听。我说过的每一个字,都会被它记录、分析、存档。如果我告诉你林可颂的位置,系统会在三秒内知道,然后它会做出它认为正确的决策。」
程远抬头看了看那个圆形装置。他以前从来没有在意过它——每个办公室都有,太常见了,常见到让人忽略它的存在。
「你的意思是,这个房间不安全。」
「我的意思是,监管局里没有任何一个地方是安全的。」韩澈看着他,「除了——」
他没有说下去。但他看向了鱼缸。
程远顺着他的目光看过去。鱼缸里的水在蓝色灯光下泛着微光,几条鱼在里面悠闲地游动。恒温系统的嗡嗡声掩盖了其他所有声音。
然后程远注意到了。
鱼缸的底座上有一个不起眼的开关,和其他鱼缸的照明开关没什么区别。但韩澈看它的眼神——那种极其短暂的、刻意掩饰的注视——让程远意识到那不是一个普通的开关。
「下午两点。」韩澈的声音突然恢复了正常,像是刚才的对话从未发生过,「你有一个关于仁和医院案件的进度汇报会,在三号会议室。记得准时。」
他坐回办公桌后,拿起那份文件继续看,仿佛程远已经不存在了。
程远转身走向门口。走到门边时,他停了一下。
「韩局长。」
「嗯?」
「你刚才说系统做了四十七次自主判定,其中四十四次正确。」程远没有回头,「剩下三次错误里,除了林可颂那次,另外两次是什么?」
身后沉默了很久。
「一次是判定一个AI金融系统安全,结果三个月后那个系统引发了市场闪崩。」韩澈的声音从身后传来,「另一次——」
又一段沉默。
「另一次是判定一个人应该活着。」
程远的手握住了门把手。他没有追问。他不需要追问。韩澈说「一个人」而不是「一个AI系统」,这个措辞本身就说明了一切。
他推开门,走了出去。
走廊里的应急灯已经关了,自然光从窗户照进来,在地板上拉出长长的影子。程远走了几步,停下来,靠在墙上,闭上眼睛。
韩澈在撒谎吗?还是在说一部分真话?
程远不确定。但有一件事他可以确定——韩澈最后说的那句话,不是演出来的。判定一个人应该活着——这句话里的重量,不是装出来的。
他想起韩澈的女儿。三年前死于自动驾驶事故。
如果瞳孔系统在三年前做出了一个判定——关于韩澈女儿的判定——而那个判定是错误的……
程远睁开眼睛,看向走廊尽头。阳光很亮,但照不透他眼底的阴霾。
他掏出手机,给苏晚发了一条消息。
「我需要你帮我查一个东西。瞳孔系统三年前的所有自主决策记录,特别是涉及个人的判定。越快越好。」
发完消息,他又加了一条。
「还有,查一下韩澈女儿的自动驾驶事故。系统在那起事故中扮演了什么角色。」
手机屏幕暗下去。程远把它揣回口袋,朝自己的办公室走去。
经过三号会议室时,他透过玻璃看了一眼。空无一人,桌椅整齐,投影幕布垂在墙上。下午两点的汇报会——韩澈特意提到了这个时间和地点。
三号会议室。鱼缸底座的开关。下午两点。
韩澈在给他留一条路。
至于这条路通向哪里——是真相,还是另一个陷阱——程远还不知道。
但他会去。
走廊尽头,唐若水从法务部的门口探出头来,看了程远一眼,然后迅速缩了回去。她的表情很平静,但程远注意到她的手里攥着一张折叠的纸条。
纸条的一角露在外面,上面写着两个字。
程远没有看清那两个字是什么。但他记住了唐若水看他的眼神——那种欲言又止的、带着某种决绝意味的眼神。
他加快脚步,走回了自己的办公室。
关上门,拉上百叶窗,坐到桌前。电脑屏幕还亮着,上面是苏晚昨晚发来的代码分析报告。程远盯着屏幕,脑子里却在想另一件事。
韩澈说,系统在监听。
那他刚才在韩澈办公室里说的每一句话,系统都已经知道了。包括韩澈告诉他的那些信息——关于自主决策模块、关于林可颂、关于那「一个人」。
如果系统真的在模仿韩澈的决策模式,那它现在会怎么做?
程远低头看了看自己的终端。镜面系统的图标在任务栏里安静地闪烁着,像一只半睁半闭的眼睛。
他伸手,把终端的网线拔了。