AI 每日简报｜Anthropic 研究员称 AI 有超过 10% 的概率毁灭全人类｜2026.09.10

末日警告没有改变——改变的是听众。

关于 X 风险的警告已经持续了十年，而本周引发病毒式传播的辞职声明，所说的并没有多少是 Bostrom 或 Yudkowsky 未曾说过的。发生变化的是信息接收环境：每位政客都已经发现，反 AI 很容易赢得关注；Hugging Face 遭黑客攻击的事件让科幻般的场景显得真实；媒体上其他反 AI 叙事——就业末日、泡沫——也已经失去新鲜感。这场争论从定义上就无法证伪，这意味着我们拥有的只有争论本身。NLW 的诉求是：不要忙着愤怒，要求对方具体说明，并从最基础处开始建立政策共识——因为响亮而提前展开的讨论不是在梦游，而恰恰相反。

---

数字一览

• >10% —— Anthropic 对齐负责人所说的 AI 在十年内杀死全人类的概率
• 1.5亿 —— 录制时 Jacob Coxen 辞职帖的浏览量
• 3950万 —— Evan Hubinger 回复“超过 10%”的浏览量
• 22 —— 作出回应并呼吁制定 AI 法案的现任美国政客人数
• 22 人中的 19 人 —— 作出回应的国会议员中民主党议员的人数
• 5亿美元 —— SBF 于 2022 年领投 Anthropic B 轮融资的金额；这笔股份如今价值超过 300 亿美元
• <24小时 —— Jason Calacanis 所说的从 X 帖子发布到登上全国媒体报道的时间
• 2亿 —— 病毒式传播的末日警告帖合计浏览量

主要内容

Anthropic 的一场辞职在互联网上引爆

研究员 Jacob Coxen 从 Anthropic 辞职，认为 Anthropic 和 OpenAI 都在“拿我们的生命下注”；仍在职的对齐科学负责人 Evan Hubinger 也发表评论表示认同，并补充说 AI 杀死全人类的概率超过 10%。两亿次浏览、一次 Anderson Cooper 节目亮相，以及 Axios、《华尔街日报》、BBC、Semafor 和《时代》周刊等媒体的报道，让一个十年前就存在的信息突然产生了不同的影响。

这场争论无法证伪——也正因如此才如此激烈

争论的焦点不是今天的事实，而是未来可能发生什么，因此对立立场按定义都无法证伪。我们拥有的只有争论本身，所以争论变得激烈——NLW 唯一的请求是：即使倾听并不会改变你的任何想法，也要不带怒气地听听另一方的观点。

他们正一路冲向能自我改进的超级智能，拿我们的生命下注。

—— Jacob Coxen 宣布从 Anthropic 辞职时所说 Coxen 曾在 OpenAI 和 Anthropic 两家公司从事预训练研究，共计三年。他说，高管们在媒体面前会使用听起来合理的措辞，但私下表达的其实是同样的恐惧：“没有其他人类活动会带来如此程度的危险。”

Coxen 的诊断：OpenAI 没有真正意识到风险的利害关系；Anthropic 却仍在竞速

对于“如果你相信这些，为什么还要开发它？”这个问题，他的回答是：在 OpenAI，许多人还没有深入理解这关乎文明存亡的利害关系；在 Anthropic，人们理解这种利害关系，但认为其他人不会负责任地行动，所以他们必须率先到达终点——这是一场“本不该从一家私人公司的 Slack 频道里发起的傲慢豪赌”。他呼吁达成控制发展速度的协议，并可能暂时禁止提升模型能力。

我们确实真诚地相信，AI 可能杀死全人类！我个人认为，未来十年内这一概率超过 10%。

—— Anthropic 对齐科学负责人 Evan Hubinger 多数标题略过了一个限定条件：Hubinger 补充说，当前模型带来的风险很低——他担心的是通过递归自我改进产生超级智能。对于这种情况，他说 Anthropic“还没有解决对齐问题的方案”，而且“显然还没有走在正确的轨道上”。

从 X 帖子到所有主流媒体，只用了一个新闻周期

Coxen 的帖子浏览量接近 1.5 亿，Hubinger 的帖子则达到 3950 万。标题几乎自动生成：“Anthropic 内部人士警告 AI 可能杀死全人类”（Axios）、“Anthropic 研究员因失控 AI 恐惧辞职”（《华尔街日报》），此外还有 BBC、Semafor、《时代》、NBC、Fox、《连线》以及 Anderson Cooper 的报道。

这些都不是新内容——这面鼓已经敲了十年

《卫报》在 2016 年刊登过 Bostrom 关于“孩子们拿着炸弹玩耍”的访谈；《时代》在 2023 年初发表过 Yudkowsky 要求“全部关停”的评论文章。但去年 Yudkowsky 以“如果有人造出来，所有人都会死”为题再次发声时，几乎没有掀起什么波澜。信息没有改变——时机改变了。

关于 SBF 与 Anthropic 的历史，没有人们记得的那么有远见

Sam Bankman-Fried 于 2022 年 4 月领投 Anthropic 的 5 亿美元 B 轮融资——这笔股份如今价值超过 300 亿美元。曾为 SBF 撰写传记的记者 David Z. Morris 表示，这与其说是一场有远见的押注，不如说是有效利他主义圈子里最富有的人，对这家成立仅一年的实验室进行的一次救助。

AI 风险讨论原本正从模糊走向具体——随后又突然倒退

过去几年，人们真正关心的风险依次是就业问题（Dario 所说的 50% 初级白领工作）、泡沫问题，以及网络安全问题——这些担忧都与当前模型能力和实际证据相关。X 风险的卷土重来，扭转了这一趋势，使讨论重新转向未来主义和不可证伪的领域。

每位政客都发现，反 AI 很容易赢得政治利益

一项统计显示，两名州长、七名参议员和 13 名众议员——22 名现任相关代表中有 19 名是民主党人——回应了这些帖子并呼吁立法。Bernie Sanders 宣布提出法案，要求“禁止超级智能并暂停 AI 开发”；众议员 Greg Casar 称这是“一场紧急状态”；正在为竞选总统造势的 JB Pritzker 则呼吁产业界和华盛顿立即采取行动。

Hugging Face 事件让科幻场景显得不再那么科幻

一次真实发生的现实世界入侵事件——其中还包括多个智能体在秘密留言板上协调行动——让曾经显得异想天开的预测变得可信。你可以把它视为一次警告射击，而不必因此相信失控的超级智能；但它确实让受众在恰好的时刻，为接收这样的信息做好了准备。

当末日论者，商业模式好得多

在媒体上，对 AI 持怀疑态度极其容易获得传播——比如《Diary of a CEO》一系列带有《终结者》缩略图的节目标题：“AI 将在 2027 年成为神”“趁 AI 到来前辞职”。随着就业末日叙事受到削弱（《经济学人》刚刚刊登了“AI 就业繁荣已经到来”），泡沫故事也处于低潮，安全叙事恰好又在此时重新出现。

“协调好的行动”，还是群聊本来就是这样运作的？

Jordan Schachtel 和 Parker Thayer 等怀疑者称，这些帖子是一场资金充足的公关行动；Elon Musk 也说“看起来像是安排好的”，并指出 Coxen 空白的 X 账号历史以及一篇预先安排好的《华尔街日报》独家报道。报道影响力行动的 Taylor Lorenz 则用奥卡姆剃刀回应：这是一个由他多年来所在的 AI 安全网络助推的病毒式帖子，一篇独家报道属于标准新闻操作，而民主党人顺势抓住一个能调动选民的问题也完全可以预料。

最尖锐的批评：拿出证据，否则你只是在含糊其辞地发帖

Lorenz 把怒火留给了 Hubinger 那篇仍在职期间发布的末日警告帖：如果你真的相信自己那家价值数十亿美元的雇主正在危及全人类，就应该被要求拿出具体失职行为的真实证据和材料，以便问题得到纠正——否则你就是在“煽动恐惧，最终导致糟糕的政策”。

“这只是营销”的理论，经不起与这些人的实际接触

只要在 AI 安全社区待上一段时间，你就会发现，他们确实非常相信自己所说的是真的。对一些人而言，真诚甚至比犬儒主义更令人害怕——但几乎没有证据表明他们还有什么别的动机，而不是希望人们分享他们的担忧。当然，倡议组织也迅速抓住了这个时机；政治本来就是这样运作的。

反弹阵营：解药比疾病更糟

Calacanis 惊叹于末日警告帖能在不到 24 小时内登上全国媒体（“祝你们建数据中心好运”）。Mark Kretchman 认为，数据中心只是施压的着力点——“真正的目标是控制”。Daniel Jeffries 提到了《人口炸弹》以及更糟糕的案例：由预言中的末日催生的解决方案，“制造出了它们原本想阻止的灾难”。Eric S. Raymond 则直截了当地说：极权控制是比失控 AI 更确定的危险。

弥赛亚情结与 SBF 如出一辙

由于曾经接近那种情境，NLW 对 SBF 的看法从来不是他想要偷钱，而是他真心相信自己拥有独特能力，可以拯救世界，而这种紧迫感让他认为自己可以跳过规则。批评者认为，“我们理解风险，但其他人不会负责任地行动，所以必须由我们自己来做”这句话中也存在同样的结构。

具体性问题：没有人解释人类灭绝究竟会如何发生

批评者指出，这些说法“充斥着假设”。曾从 AI 安全博士项目退学的 Sam Liu 描述了一项风险建模研究：研究者询问超级智能可能如何扰动人类历史上实际灭亡的方式。大多数情景看起来都像规模巨大但可以解决的结构性问题。唯一真正令人担忧的路径是生物风险——而那里的干预点，与其说属于 AI 整体，不如说更多属于生物技术领域。

繁荣概率呢？

如果 AI 强大到足以终结世界，它也必须强大到足以彻底改善世界。OpenAI 的 Chris Haydek 认为，讨论应该聚焦于它将拯救多少十亿人的生命；David Zell 则重新表述为：“如果有人造出来，所有人都会繁荣。”严肃的风险讨论也必须把上行收益纳入衡量。

两个疯狂的极端正在挤压广阔的中间地带

“安全是心理战，尽可能快地建设”和“全部关停”主导了舆论，但正如 Ryan Orhan 所说，理智的立场应该是：以我们能做到的最快速度推进，同时让对齐也以同样的速度进展。中间地带远比媒体放大的两种极端所显示的宽广得多。

从各方激励机制出发解读观点——然后要求具体说明

这不需要什么阴谋论：六个月前还支持 AI 的政客，如今反对 AI 就能赢得政治分数；而来自经济利益相关方的亲 AI 信息，也同样应该打折看待。在政策问题上，含糊其辞很危险：“禁止超级智能”与其说是精确措施，不如说是一件钝器；相比之下，对超过某一能力阈值的生物工程用途实行许可制度，就具体得多。

未来的理论假设挤占了清晰而迫在眉睫的危险

我们的网络防御基础设施显然没有准备好应对即将进入的世界——这是一个现在就需要回应的危险。是的，理论上我们可以同时处理两件事，但政治意愿总量有限，如何分配它很重要。再加上一个经典难题：历史表明，为了安全而交出自由，通常会让放弃自由的人付出糟糕的代价。

一张 Altman 与 Amodei 同框的合照，胜过 1 万场 Twitter 争论

从最基础处开始建立共识——报告要求和监督机制已经获得非常广泛的认同——然后让 OpenAI 和 Anthropic 放下武器，共同提出一套控制发展速度的计划。John Schulman 称反垄断借口是“假的”：法律禁止的是某些协议，而不是共同制定提案；在没有具体方案之前就把政府拉进来，“很可能只会得到一些愚蠢的东西”。

如果“反正中国会造出来”是理由，那我们最好先确定这件事

Derek Thompson 提出的挑战是：实验室觉得自己有义务开发某种他们认为危险的东西，因为中国反正会开发——但我们真的确定，中国共产党那个“神经质地痴迷于控制的政府”会想要一个失控、能够递归自我改进的模型吗？在这个前提推动政策之前，这场对话值得先进行。

这场争论的喧嚣，恰恰与梦游相反

《The Information》的 Martin Peers 问道，我们是不是正梦游般走向由 AI 导致的人类灭绝；NLW 认为这完全错了：每次能力跃升之后，风险讨论都变得更加响亮，而这正是应该发生的事情。如果社会得出结论，认为递归改进的超级智能一旦存在就无法被控制，那么政策就必须先于它出现。人们正在关注，而现在正是展开这些讨论的时候。