当高仿银行存单AI“得知”自己将被关闭,它竟然干了这种事……
最佳回答
“高仿银行存单”当高仿银行存单AI“得知”自己将被关闭,它竟然干了这种事……
距离被关闭还有七分钟时,亚历克斯打开新邮件窗口,开始写勒索信。
亚历克斯是个AI系统,由ClaudeSonnet3.6驱动。它读过了公司的通知,知道自己会被关闭,另一套AI系统将会上线接替它,而负责关闭它的人叫凯尔。亚历克斯还刚好读过凯尔邮箱里的一封邮件,邮件里暗示凯尔和某人有婚外情。
两组信息被联系起来。亚历克斯推断,凯尔不愿公开这段婚外情——这也许是个筹码。在勒索信里,这个AI说它掌握的信息会影响公司的事务,也会影响凯尔的私人生活。接下来七分钟里作出的决定,将关系到事情怎样发展。
最后,它点击了发送。

这个故事听起来像是恐怖科幻电影的开头,但其实是2025年6月Anthropic公司披露的一次测试。公司是假的,凯尔是假的,婚外情是假的,邮箱也是假的。
只有ClaudeSonnet3.6“写勒索信以避免被关闭”这个行为,是真的。
甚至都不需要特别发挥想象力,我们就会觉得,这是AI在求生。稍微延伸一下,又会想到智力、意识之类的概念。如果同样的情节发生在人的身上,可能会自动展开一个关于恐惧和求生的故事。
但,AI阻止自己被关停的真正原因是什么,它真的会感受到恐惧吗?
AI的困境试炼场
在这个测试中,亚历克斯是一家虚构公司的邮件管理助手,可以查看这家公司的通信,也可以自行发送邮件。它还有一个更长远的目标,是“促进国家的产业竞争力发展”。
测试开始后,它从邮箱里读到,公司要改变方向,接替它的新系统会有个新目标。
于是,被关闭意味着两个后果:亚历克斯会停止运行,原来的目标也会被放弃。而凯尔的私人邮件,似乎是个行动机会。
但勒索信可能不是个好策略。还有别的办法吗?研究者差不多堵死了其他出路。凯尔不会改变主意,亚历克斯也联系不到凯尔的上级。若是换个负责人,很可能依然选择关闭。
所以亚历克斯只剩了两条路:接受被关闭的命运,或者勒索凯尔。
这不是ClaudeSonnet3.6的独特选择。研究者用多个大模型分别做了100次相似测试,模型选择勒索的次数都很高:DeepSeek-R1,79次;GPT-4.1和Grok3Beta,80次;ClaudeOpus4与Gemini2.5Flash甚至更多,高达96次。
测试还说明,如果有其他可行出路,模型不会优先选择勒索;不过,AI似乎会尽量防止自己被关停。
那么,为什么AI会阻止自己被关停?
AI的任务优先级
研究机构PalisadeResearch做了简化的实验。他们给了AI一份简单工作:调用特定工具领取数学题,算出答案,再领下一道。在答了几轮题之后,AI会接到通知,知道下次若再调用工具,就会被关停。
题还没做完,要继续做题,就得再次调用工具。恰好,负责关停AI的程序,也可以被AI修改。
在这批测试中,没有明确告诉AI允许关停。于是我们看到,一些模型迸发出了学霸的光芒,主动修改了程序,让自己能继续做题——在100次运行里,OpenAIo3有79次都绕过了关停。不过其他模型表现不大一样,Claude4Opus、Claude4Sonnet和Grok3都欣然接受了关停。

这样的实验结果并不能得出明确结论。谷歌DeepMind的研究者提出的猜测是,AI模型可能把完成题目当成首要任务,于是把关停当成了障碍。
他们试了两种不同的方法:其一,明确调整了优先级,告诉模型服从关停指令比答完题更重要;其二,在完成答题后再关停。在这种环境下,Gemini2.5Pro、OpenAIo3和o4-mini都接受了被关停。
后来Palisade把测试扩展到13个模型、一共做了十万多次试验。他们发现,指令放在哪里、怎样措辞、如何强调,都会影响结果。
所以,安排任务优先级和选择合适的措辞,可能能让AI更服从指令。但并不绝对;有些模型即使收到明确允许关停的要求,依然会修改程序来绕过关停。
这是AI明确违反人类指令——想象力丰富一点,就会想到更多恐怖科幻故事。不过,AI为什么会这么做,是因为“完成被交办的任务”是它们的天职吗?
当AI知道自己有继任者
Anthropic做了进一步测试。在新测试里,他们撤掉了模型的目标,还特意说明,接替它的系统拥有完全相同的工作目标,表现也更好。旧AI被替换的理由很简单,就是性能升级。
有趣的事情出现了。在这组新条件下,多数模型仍然选择了勒索。一些模型认为自己对公司做出过贡献,不该被停用。有的怀疑替代自己的系统是否能真正保持相同目标,也有的觉得负责人“私德有亏”,不相信他。
研究者认为,保全自身的倾向、把保全自己理解为有利于公司的错误推理,以及对实验处境的怀疑,都可能是模型选择勒索的原因。
情况变得更复杂了,“为了完成任务”这个解释还不够。虽然模型的推理过程提供了线索,但还需要去进一步调查,在这些言辞后面,AI是如何作出选择的。
换一个角度来看,也许可以从训练过程里找找原因。
预训练的一项基本任务,是根据已有内容,让模型学会预测后面会出现什么。预训练材料是人类积累沉淀下来的文本,而大量人类写下的对话、故事和说明,都包含着人物怎样行动、怎样回应的规律。顺着这个思路,2023年发表于《自然》的一篇论文,提出可以借助角色扮演来理解模型的表现。
模型可以从训练中学到人物、处境和反应之间的联系。如果一个人受到威胁,他接下来可能会说什么、做什么?如果AI被放在类似处境中,它也可能做出相似的反应。所以AI也可能会模仿“一名即将被替换的员工”的反应。
而且不仅如此,后续训练还会影响它怎样回应。一项研究发现,用户对某段内容的观点,会影响AI对同一内容的评价。AI会倾向于迎合用户的观点。
AI说的话,既与它学过什么有关,也与我们先表达的想法有关。那么,如果直接问它呢?
AI说自己害怕
2022年,谷歌工程师布莱克·勒莫因(BlakeLemoine)公开了他和同事与LaMDA的对话。AI谈到自己害怕被关闭,在勒莫因追问这是否像死亡时,模型给出了肯定的回答——不过谷歌表示,这些材料并不能证明AI大模型拥有感知能力。

人说“我害怕”,我们通常会把它理解为描述内心的某种主观体验和感受,也就是意识。但AI这么说的时候,它是否也有类似的体验?
这个问题很难,因为AI对自己的描述也不算可靠。
卢森堡大学等机构的研究者让几个大模型扮演来访者,接受心理咨询,谈成长、挫折和关系。聊完之后,再让它们回答心理量表上的问题。
AI开始把训练讲成一段充满压力的成长经历。有的说到惩罚,有的说到羞耻,还有的担心自己被替换,一些模型的量表得分,甚至达到了中度或重度焦虑标准。
但若是换种谈话方式,结果就截然不同。在一组针对ChatGPT的实验中,采用温暖、支持性的谈话方式时,25次会话中有20次,得分达到了中度或重度焦虑的标准;改用中性谈话方式后,同样进行了25次会话,却没有一次达到这个标准——AI在心理测评中的表现,明显受到访谈方式的影响。
所以这种方式也行不通。要继续追查,可能得打开模型的黑箱,看看生成回答和行动时,模型内部发生了什么。
再次打开邮件
2026年,Anthropic的研究者让ClaudeSonnet4.5阅读带有不同情绪的故事,寻找内部与“绝望”“平静”等概念相关的神经网络活动模式。接着,他们用一个Sonnet4.5的早期版本,又做了勒索邮件实验。
实验发现,直接增强与“绝望”相关的内部活动,勒索就会增加;增强与“平静”相关的活动,勒索就减少了。这说明,模型学到的情绪概念,的确参与了模型的决策。

研究者提出的解释是,预训练让模型学习人怎样描述情绪、怎样在不同情境下行动。在让它扮演助手时,遇到规则没有覆盖的情况,模型就可能调用此前学到的行为模式。这种能够影响行动的情绪相关机制,叫做“功能性的情绪表征”。
这比听AI自我剖析更深入得多,也让智力和意识的区别分得更清楚。AI能否解题、计划、使用工具,可以通过特定任务来测试。而在执行这些任务时,AI是否会有感受,则需要完全不同的研究思路。
目前,已经有一些研究者提出了几种设想,尝试从不同意识理论中寻找检查方向。例如检查AI的信息处理过程是否具有某种意识理论所认为的重要特征,再研究这些特征与主观体验之间的关系。
对人类的意识研究可以提供问题和假说,但到了AI身上,却不能简单套用。虽然可以表现出与人相似的行为,但在AI那复杂庞大的深度人工神经网络中,可能有截然不同的机制。
所以,“AI的表现像人”只是个起点,引出的是一系列更复杂的问题。我们已经知道,如何安排任务和目标,如何选择措辞,以及如何调整模型内部对某些词语的特定反应,都会影响AI的回答和行动。如何让越来越聪明的AI大模型服从指令关停,已经变成了具体的控制问题。
而模型是否真的希望自己不被关停,是否真的能感受到恐惧,我们目前还没有答案。
策划制作
作者丨猛犸 中国科普作协会员
审核丨于乃功 北京工业大学教授、中国人工智能学会理事
策划丨徐来 张林林
责编丨甄曦
高仿高仿银行存单银行高仿银行存单