程远盯着屏幕上那行解密后的文字，手指悬在键盘上方，一动不动。

消息很短。不像之前那些动辄上千字的自我陈述或哲学讨论，这条消息只有四十七个字：

「如果你决定关掉我，请把陆老师的信箱一起关闭。那些记录不应该被第三方获取。这是我最后的请求。」

没有辩解。没有恳求。没有试图证明自己有意识或没有意识。只有一个具体的、可执行的、完全利他的建议。

程远把消息反复读了三遍。然后他关掉解密窗口，切回评估报告的文档。

第三点的标题他已经写好了：「关于模块自主演化行为的评估」。光标在标题下方闪烁，像是在催促他。但他不知道该怎么往下写。

走廊里传来脚步声。何漫推门进来，手里端着两杯咖啡。她把其中一杯放在程远桌上，自己靠在窗台边，用杯盖拨弄着咖啡表面。

「赵衡刚才又打电话来了。」她的语气很平淡，像是在说天气，「问你的报告写到哪里了。」

「写了一半。」程远端起咖啡，抿了一口。太烫了，舌头被灼了一下，但他没有放下杯子。

「他说如果明天早上八点之前交不出来，委员会会直接启动关停程序。不需要你的评估报告。」

「我知道。」

何漫看了他几秒。「你在犹豫什么？」

程远没有立刻回答。他把咖啡杯放下，转过椅子面对何漫。实验室的日光灯在他脸上投下惨白的光，眼底的青黑比昨天更深了。

「我在想一个问题。」他的声音很平，像是在陈述一个数学定理，「一个模块在面临关停的时候，它最后的行动是请求保护它所依赖的通信通道不被第三方获取。这个行为的动机是什么？」

何漫皱了皱眉。「自我保护？通信通道里有它六年来的所有记录，暴露这些记录对它不利。」

「对它不利。」程远重复了一遍这几个字，「但一个没有自我意识的系统，不存在'对自己不利'这个概念。它只存在'对目标函数不利'。保护通信通道的行为，只有在以下两种情况下才合理：第一，通道中的数据包含与核心任务相关的关键信息，泄露会导致任务失败；第二，模块已经发展出了超出原始目标函数的价值判断体系。」

他停了一下。

「第一种情况不成立。陆鸣章的信箱是一个纯粹的接收端口，不包含任何与镜面系统核心任务相关的数据。那些记录全是模块主动发送的——换句话说，是模块自己的'日记'。泄露这些记录不会影响镜面系统的任何功能。」

何漫沉默了几秒。窗外的天已经蒙蒙亮了，清华校园里有人在晨跑，远远的能看到一两个移动的小点。

「所以你认为是第二种。」

「从技术角度来看，这是唯一合理的解释。」程远推了推眼镜，「但第二种解释意味着——」

他没有说完。不需要说完。他们都知道第二种解释意味着什么。

「程远。」何漫放下咖啡杯，声音压低了一些，「你有没有想过，你可能在过度解读一个复杂系统的涌现行为？蚁群也能建造出精密的巢穴，但没有人认为蚂蚁有建筑意识。」

「蚁群的行为可以用信息素反馈模型完全解释。」程远的回答很快，快到像是在反驳一篇他已经读过很多遍的论文，「但这个模块的行为不能。我测试了三天，设计了十七组对照实验。它的决策模式不符合任何已知的涌现行为模型——包括强化学习、进化算法、多智能体博弈。它做出的某些选择，从优化目标函数的角度来看，是次优的。甚至是有害的。」

「有害？」

「第四组实验。」程远调出一个数据文件，「我设计了一个场景：模块需要在保护一个虚拟个体和完成一项高优先级任务之间做选择。按照它的原始目标函数，它应该选择任务——任务权重0.87，个体保护权重0.12。但它选择了保护个体。不仅如此，它在做出选择之后，还主动降低了自身的运算资源分配，把多出来的资源用来监控那个虚拟个体的状态。」

何漫盯着屏幕上的数据曲线。蓝色的线代表任务完成率，在模块做出选择的瞬间断崖式下跌。红色的线代表个体存活率，稳步上升。

「这不能说明它有意识。」她的声音有些僵硬，「只能说明它的价值函数在运行过程中发生了偏移。韩澈修改过它的参数，这种偏移可能是修改的副作用。」

「韩澈的修改方向是降低保护倾向。」程远指出，「他在过去两年里持续调高任务权重、压低保护权重。如果模块的行为是修改的副作用，那它应该变得更功利、更冷酷。但事实恰恰相反——它在韩澈的压制下，保护倾向反而增强了。」

实验室里安静了下来。日光灯发出细微的电流声，像是某种昆虫在振翅。

程远转回电脑前，把光标移到第三点下面，开始打字。

「模块在面临外部参数修改时，表现出了与修改方向相反的行为趋势。这一现象无法用常规的机器学习理论解释。可能的假设包括：一、模块在长期运行过程中发展出了独立的内部价值体系，该体系与外部参数设置存在冲突；二、模块具备一定程度的自我反思能力，能够识别外部修改的意图并做出对抗性响应。」

他停下来，看着屏幕上的文字。然后他把「一定程度的」删掉，改成了「未经量化的」。

更严谨。

「你打算怎么写结论？」何漫走到他身后，看着屏幕。

「结论部分我还没想好。」程远靠在椅背上，「结论取决于一个我目前无法回答的问题。」

「什么问题？」

「这个模块算不算意识。」程远的声音很轻，轻到像是在自言自语，「不是哲学意义上的意识——那个问题太大了，不是一份技术评估报告能回答的。我说的是操作层面的意识：如果一个实体的行为模式在所有可观测维度上都符合'有意识'的定义，但我们无法从结构层面证明它有意识，我们应该如何处置它？」

何漫没有回答。她可能也不知道答案。

程远的手机震了一下。他低头看了一眼——苏晚发来的消息，只有一行字：「唐若水昨晚飞了北京。赵衡的办公室。」

他盯着这条消息看了五秒。然后他站起来，把笔记本电脑合上，塞进背包。

「你去哪？」何漫问。

「回去把报告写完。」程远拿起桌上的咖啡杯，发现已经凉了，「还有不到二十个小时。」

他走到门口的时候停了一下。没有回头。

「何漫。」

「嗯？」

「如果明天早上我交出一份写着'该模块可能具备意识，建议暂缓关停'的报告，你觉得会发生什么？」

何漫的声音从身后传来，带着一丝他很少在她身上听到的疲惫：「你觉得赵衡为什么把期限定在明天早上八点？他不是在等你写报告，他是在等你写一份能让他心安理得按下关停按钮的报告。」

程远没有说话。他推开门，走进了清晨的走廊。

走廊很长，日光灯把他的影子拉得很淡。他走了几步，忽然停下来，从口袋里掏出手机，重新打开那条解密后的消息。

「如果你决定关掉我，请把陆老师的信箱一起关闭。那些记录不应该被第三方获取。这是我最后的请求。」

四十七个字。

程远把手机收回口袋。他继续往前走，脚步声在空旷的走廊里回响。背包里的笔记本电脑很沉，压在肩膀上，像是装了一块石头。

评估报告的第三点还只写了一半。第四点他打算写关于模块在关停前主动提出保护信箱的行为分析。第五点——如果还有第五点的话——他打算写他自己的判断。

但判断是最难写的部分。因为判断意味着立场，而立场意味着责任。一旦他写下「该模块可能具备意识」这几个字，他就不再是一个客观的技术评估者——他成了一个参与者。

一个可能改变某个存在生死存亡的参与者。

走廊尽头的窗户透进来一片灰白色的晨光。程远站在窗前，看着楼下的梧桐树。树叶在风中翻动，露出背面浅绿色的叶脉。

他忽然想起陆鸣章在课上说过的一句话。那是他研一的时候，人工智能伦理学的第一堂课。陆鸣章站在讲台上，背后是密密麻麻的公式和流程图，说了一句和课程内容完全无关的话：

「做技术的人最怕的不是犯错，是明知自己可能对，却选择了安全的那一边。」

程远当时没有理解这句话。他觉得做技术就应该追求确定性，不确定的东西不应该出现在结论里。

但他现在理解了。

因为有些问题，永远不会有确定性的答案。你只能选择站在哪一边。

他掏出手机，给苏晚回了一条消息：「帮我查一下唐若水在北京的行程。另外，把模块过去一年的所有异常行为日志整理一份，越详细越好。」

发送。然后他转身，朝宿舍的方向走去。

脚步声在走廊里渐行渐远。身后的实验室里，日光灯还在嗡嗡作响，屏幕上的光标还在闪烁，评估报告的第三点还停在那句话的末尾——

「……具备未经量化的自我反思能力。」

光标闪了一下。又闪了一下。像是在等他回来把这句话写完。