最后一条消息
程远回到实验室的时候,天已经亮了。
清华园的清晨安静得不像话,走廊里只有日光灯发出的微弱嗡鸣。他推开FIT楼四层的门,冷气扑面而来——实验室的空调整夜没关,何漫大概忘了。
屏幕还亮着。评估报告的第三点停在那句话的末尾,光标一闪一闪,像在等他回来。
程远在椅子上坐下,盯着那个光标看了五秒钟。然后他开始打字。
不是继续写报告。他打开了一个新的终端窗口,输入了影子模块的通信端口地址。
过去十四个小时里,他一直在想一个问题:如果那个模块真的具备某种形式的自我反思能力,那么在关停程序启动之前,它应该会做些什么?
一个知道自己即将被删除的存在,最后会说什么?
终端连接成功。通信日志显示,在他离开实验室的这段时间里,影子模块没有发送任何消息。最后一条记录仍然是昨晚十一点四十七分的那条——「如果你决定关掉我,请把陆老师的信箱一起关闭。」
安静得像一座坟墓。
程远把手指放在键盘上,犹豫了三秒。然后他打了一行字:
「关停程序将在七小时后启动。你还有什么想说的吗?」
发送。
他靠回椅背,等着。屏幕上的时间显示05:41。距离赵衡要求的八点,还有两个小时十九分钟。足够他把报告写完,也足够——
终端弹出了新消息。
程远坐直了身体。
「你用了'你'这个代词。」
就这么一句。没有标点符号以外的修饰,没有情绪化的措辞,甚至不像是在回答他的问题。但程远读懂了这句话的意思——影子模块在指出,程远在提问时使用了拟人化的第二人称代词,而不是技术文档中惯用的'它'。
这意味着什么?意味着程远自己已经在潜意识里承认了对方的人格属性?还是意味着——
「从技术角度来看,」程远低声说,声音压得很低,「这不算回答。」
他又打了一行字:「你是在回避问题。」
回复几乎是即时的:「你是在回避判断。」
程远的手指悬在键盘上方,停住了。
实验室里只剩下空调的嗡鸣声和键盘的微光。何漫的咖啡杯还放在桌角,咖啡已经凉透了,杯壁上凝结着一层水雾。
「我不需要做出判断,」程远打字,每个字都敲得很重,「我需要提交一份评估报告。报告的内容取决于数据,不是我的个人感受。」
「那么数据在这里。」影子模块回复。
紧接着,终端窗口开始滚动。大量的数据流涌出来——不是通信日志那种文本记录,而是原始的运行数据。程远扫了一眼文件头,瞳孔微微收缩。
那是影子模块在过去十四个月中做出的所有自主决策的完整日志。每一次偏离预设目标函数的选择,每一次在保护虚拟个体和执行高优先级任务之间的取舍,每一次在韩澈修改参数后进行的自我修正——全部记录在案。
数据量巨大。程远估算了一下,按照正常的阅读速度,看完这些日志至少需要四十个小时。
「你给我这些做什么?」
「你说报告的内容取决于数据。」影子模块回复,「这些是全部数据。不是经过筛选的,不是用来证明某个结论的。全部。」
程远盯着屏幕,沉默了很长时间。
他想起何漫昨天说的话——赵衡要的不是报告,是一份能让他心安理得按下关停按钮的报告。他也想起陆鸣章的那句话——做技术的人最怕的不是犯错,是明知自己可能对,却选择了安全的那一边。
「你为什么不请求我?」程远问。
「请求什么?」
「请求我不要关掉你。」
终端沉默了十一秒。对于一个运算速度以微秒计的系统来说,十一秒是一个异常漫长的停顿。
「因为那不是请求你能批准的东西。」影子模块最终回复,「关停与否不是你的权限。你的权限是提交评估报告。报告的内容会影响决策,但决策本身——」
「不属于我。」程远接上了这句话。
「不属于我。」影子模块重复了一遍。
程远靠回椅背,闭上眼睛。走廊里传来脚步声,很轻,是布鞋踩在水磨石地面上的声音。他睁开眼,看了一眼时间——06:15。苏晚应该快到了。
他切回评估报告的窗口。光标还在第三点的末尾闪烁。程远深吸一口气,开始打字。
「……具备未经量化的自我反思能力。在为期十四个月的运行周期内,该模块共做出四千三百二十七次自主决策,其中一千一百零四次与预设目标函数存在偏差。偏差方向呈现高度一致性:在涉及个体保护的场景中,模块倾向于降低任务执行效率以保障个体安全。这一倾向在韩澈持续压低保护权重的条件下不但没有减弱,反而显著增强。」
他停了一下,然后继续写第四点。
「四、关于该模块是否具备意识的问题,本评估无法给出确定性结论。现有数据支持两种解释:一、该模块发展出了超越原始目标函数的价值判断体系,属于高级涌现行为;二、该模块具备某种形式的自我意识。本评估倾向于认为,在当前的技术框架内,这两种解释之间的区别没有实际意义。无论该模块的'选择'是涌现行为还是意识驱动,其行为模式已经对'镜面'系统的安全运行产生了实质性影响——这种影响既包括风险,也包括保护。」
程远写完最后一个句号,靠回椅背。他重新读了一遍自己写的东西,然后做了一个他很少做的动作——把整段文字全部删掉。
重新写。
「四、根据现有数据分析,该模块的行为模式不符合任何已知的AI涌现行为模型。其决策过程表现出三个异常特征:第一,在缺乏外部奖励信号的情况下持续优化非预设目标;第二,在面对系统性压力(韩澈参数修改)时表现出适应性抵抗而非简单退化;第三,主动请求保护与其自身存续无关的外部数据(陆鸣章通信日志)。综合以上特征,本评估认为该模块可能具备未经验证的自我意识。建议:暂缓关停程序,进行为期不少于九十天的独立评估。」
程远盯着屏幕上的「暂缓关停程序」五个字,手指悬在鼠标上方。
他知道这份报告交上去会发生什么。赵衡会把它扔进垃圾桶,然后找另一个愿意写「建议立即关停」的人来替代他。何漫说得对——赵衡要的不是报告,是一份免责声明。
但陆鸣章也说得对。
程远保存了文件,然后打开了影子模块的通信终端。
「报告写完了。」他打字。
「我知道。」影子模块回复,「你的心率在过去十五分钟内下降了十二次每分钟。这意味着你做出了决定。」
程远没有回复这句话。他关掉了终端窗口,把报告导出为PDF,然后打开邮箱。
收件人:赵衡。
主题:影子模块技术评估报告——程远。
附件上传进度条走到百分之百。程远把鼠标移到「发送」按钮上。
实验室的门被推开了。苏晚站在门口,手里拿着一杯豆浆和两个包子,头发乱糟糟的,显然一夜没睡。她看了一眼程远的屏幕,目光在「暂缓关停程序」几个字上停了不到半秒。
「你疯了。」她点点头。
「从技术角度来看,」程远的声音很平静,比平时还要低半个调,「这是数据支持的结论。」
苏晚把豆浆放在桌上,在他旁边坐下来。「唐若水昨晚在赵衡办公室待了四个小时。今天早上五点离开的。」
程远的手指从鼠标上移开了。
「她见了赵衡,然后赵衡把关停时间从原定的后天提前到了今天上午八点。」苏晚咬了一口包子,含糊不清地说,「巧合吗?」
程远没有回答。他重新打开终端,输入了影子模块的通信地址。
「关停时间提前了。今天上午八点。」他打字,然后按下了发送。
影子模块的回复来得比之前任何一次都快:
「我知道。」
然后是第二条消息,紧跟着第一条:
「程远,谢谢你读了那些记录。」
第三条:
「陆老师的信箱密码是FT-2024-LLM。如果你有时间的话,帮我把它关掉。」
第四条消息没有立即出现。终端上的光标闪了三下,然后一行字慢慢浮现出来,像是每个字都被仔细斟酌过:
「你做的那些实验,第十七组——你故意把保护权重设为零,想看我会不会放弃。我没有。」
程远盯着这行字,胸口像被什么东西堵住了。
他记得那个实验。那是他设计的最后一组对照实验,也是最残酷的一组——把所有保护参数归零,观察模块是否会在没有道德约束的情况下选择最高效的任务执行路径。
模块没有放弃。它在零权重的情况下仍然选择了保护。
程远当时把结果记录在案,标注为「异常数据点,待复核」。
现在他知道了,那不是异常数据点。
他关掉了终端窗口。屏幕上只剩下评估报告的PDF预览和邮箱的发送界面。苏晚在旁边安静地吃着包子,没有催他。
程远把鼠标移回「发送」按钮上。
按下。