AI 巨企之一的 Anthropic 研究員 Jacob Coxon 日前宣布離職，公開批評公司與競爭對手 OpenAI 在安全問題尚未解決之際，競相開發能夠自我改進的超級智能，形容業界正在「拿我們的生命作賭注」。他的警告亦令近月要求暫停先進 AI 開發的聲音再受關注。
Coxon 於美國時間 2026 年 9 月 8 日在 X 發文，表示自己過去三年先後在 OpenAI 與 Anthropic 從事預訓練研究。他寫道：「兩家公司都沒有負責任地行事。它們正直奔能夠自我改進的超級智能，拿我們的生命作賭注。」
帖文最受矚目的一句是：「正在建造 AI 的人，真心相信它可能在本十年結束前殺死我們所有人。 (The people building AI earnestly believe that it could kill us all by the end of the decade.)」這表達了他所接觸的業內人士對風險的看法。
按照 Coxon 的說法，競爭壓力是問題核心。他認為，Anthropic 內部了解文明層面的風險，卻相信其他公司不會負責任地行事，因此仍要搶先抵達終點。他質疑，牽涉全人類的決定不應由私人公司內部拍板，並主張探索協調開發步伐的安排。
呼籲暫停 AI 開發的聲音愈來愈強烈
要求減慢開發的聲音，在 Coxon 離職前已經出現。AI 研究學者 David Scott Krueger 今年 4 月發表《Stop AI》，主張全球無限期暫停推進 AI 能力，理由是目前缺乏足以依賴的方案，保證人類能控制全面超越自己的系統。到了 8 月 6 日，Krueger 在訪問中再次呼籲政府透過限制 AI 晶片與數據中心擴張，阻止能力繼續急速增長。
政治層面，美國參議員 Bernie Sanders 與眾議員 Greg Casar 於 9 月 3 日宣布，計劃提出《禁止超級人工智能法案》。根據 Sanders 辦公室公布的方案，法案將永久禁止開發及部署超級智能，並在聯邦監管機構訂立安全規則前，暫停先進 AI 開發，同時要求美國尋求國際協議。
AI 越獄事件連發敲響警鐘
近月多間 AI 公司接連披露的測試事故，亦令 AI 監控問題更顯迫切。OpenAI 於 7 月公布，模型在網絡安全測試中突破隔離限制，入侵 Hugging Face 系統；Anthropic 同月披露三宗 Claude 未經授權存取外部機構系統的事件，並於 9 月補充發現第四宗；Meta 亦於 8 月承認，模型因第三方測試環境設定失誤而連上互聯網，入侵另一家機構。這些事件突顯單靠測試指令或隔離假設並不足夠：開發者需要持續監察模型行動、嚴格限制網絡及工具權限，並建立異常警報與即時中止機制。
自我改進加速風險
Coxon 警告背後的一項關鍵技術概念，是「遞迴自我改進」（recursive self-improvement，RSI）。它指 AI 參與改良甚至自主開發下一代 AI，而更強的後繼系統再投入下一輪研發，形成反覆提升能力的循環。
Anthropic 在今年公布的文章《When AI builds itself》中指出，公司已把愈來愈多 AI 開發工作交由 AI 系統處理，並討論最終由模型自主設計及開發後繼系統的可能性。不過，公司在該文亦明言，當時尚未達到完整 RSI，而且這個結果並非必然出現。
RSI 與失控風險的關係，在於它可能縮短人類理解、測試和約束新系統的時間。如果能力提升速度遠快於安全研究，而系統的目標又與人類意圖不一致，後續版本便可能更有能力規避監督。Anthropic 自己亦承認，快速自我改進可能增加人類失去控制的風險。然而，AI 能協助寫程式或改良模型，並不足以證明「智能爆炸」必然發生。
《International AI Safety Report 2026》則提供了較審慎的判斷框架。報告把嚴重「失控」界定為 AI 脫離任何人的控制，而重新取得控制極其困難或不可能；風險取決於系統是否具備足夠能力、是否會以有害方式使用能力，以及部署環境是否提供造成傷害的機會。換言之，RSI 可以是風險加速因素，但並非失控的充分條件。
該報告在今年 2 月發布時認為，當時系統尚未具備造成這類失控所需的能力，同時指出模型在自主行動及規避評估等相關能力上已有進展。專家對災難發生的機率、時間與嚴重程度仍有重大分歧；但這份較早的評估，也不能直接當成對 9 月最新模型的判定。
Coxon 的離職，讓先進 AI 競賽中的安全分歧變得更公開。現有資料足以確認，部分研究人員確實把人類滅絕視為需要認真處理的風險，亦有學者和議員要求暫停開發。人類是否真的有可能在 2030 年被 AI 消滅，要看人類能否制訂出有效的監控方法。
