Anthropic CEO Dario Amodei 日前提出「Pace the Frontier」，呼籲前沿 AI 公司在安全研究、外部監察及控制能力未能跟上模型進步時，應考慮放慢發展速度。然而 Anthropic 最新公布的一組數字，卻令這項倡議面對一個相當尖銳的問題：Anthropic 的 AI 模型 Claude 已經在「協助製造下一代 Claude」，而且速度正在急升。
Anthropic 9 月 17 日首次公開內部 AI 研發自動化數據。截至今年 8 月，Claude 已經「主導」（AL4）公司 26% 的 AI 研發工作，比今年初不足 1% 大幅增加；超過 90% 的相關研發工作至少已進入人類與 AI 協作的程度。所謂「主導」，是指研究員只需給予較高層次的指令，Claude 已能完成大部分工作流程，但仍有人類監督；Anthropic 強調，目前沒有任何受量度的研發工作達到 AL5 完全自主 (Fully automated) 的程度。
在 Anthropic 最常使用的內部 Agent 平台上，更同時有大約 30,000 個 AI Agent 從事研究及工程工作。Anthropic 表示所有 Agent 行動都會經過即時監察，8 月份逾十億次決策中約 0.002%，即約每 47,000 次有一次被安全系統阻止。
Anthropic 自己也承認：我們正接近「AI 改進 AI」
Anthropic 沒有迴避這組數字所代表的含義。
公司明言，公布這套「研發自動化指標 R&D Automation Index」其中一個目的，就是讓外界觀察產業距離 recursive self-improvement（遞歸式自我改進）還有多遠——也就是 AI 能夠自主研發能力更強的下一代 AI。
Anthropic 認為，利用 AI 加快 AI 研發並非只有壞處，它亦可以加快安全測試和（意圖／目標／價值觀）對齊研究；問題在於，模型若愈來愈能夠加速自己的下一代開發，人類就可能更難理解和控制整個進步速度。
這正是「Pace the Frontier」希望處理的風險。
因此從嚴格邏輯上說，Claude 主導 26% 研發與 Amodei 主張放慢前沿 AI，並非直接自相矛盾。Amodei 並沒有主張停止所有 AI 研究，亦不是要求 Anthropic 立即棄用 Claude 進行研發；他的主張是當能力增長快過監察與安全措施時，應建立可以實際降低速度的機制。
事實上，Anthropic 在公布 26% 數字的同一份文件中甚至明言，如果業界真的就「Pace the Frontier」達成協調，這些研發自動化數字理應隨之改變。公司亦提出，當 AI 研發自動化程度跨越某些門檻時，可以觸發更嚴格要求，例如在新模型進一步參與 AI 研發之前設立固定安全測試期。
真正的矛盾在「誘因」而不是論述
不過，如果從實際企業行為來看，問題就沒有那麼容易化解。
Claude 愈能夠協助研究 Claude，Anthropic 的研發速度就愈快；研發速度愈快，公司就愈有機會在 OpenAI、Google、Meta、SpaceXAI 等競爭對手之前推出更強模型。
換言之，Anthropic 同時擁有兩個方向相反的誘因：安全政策要求它在風險過高時減速，市場競爭則鼓勵它充分利用 AI 自動化研發，加快前沿模型進步。
這亦解釋了 Amodei 為何一直強調不能只依靠單一公司自願減速，而提出讓第三方評估機構深入前沿實驗室，以及讓業界甚至政府建立共同機制。如果只有 Anthropic 自行減速，而競爭對手繼續全速前進，其商業及戰略代價十分明顯。Anthropic 最新亦承諾讓多個獨立第三方評估機構取得接近內部風險評估團隊的資料和系統權限，核實安全措施並監察這些指標。
「AI 意識」研究令控制問題更複雜
另一場爭議則來自 Microsoft AI CEO Mustafa Suleyman。
Anthropic 在最新版《Claude’s Constitution（Claude 憲法）》中明確表示，目前不能確定 Claude 現在或未來是否可能具有某種「意識」或道德地位，因此不希望預先完全排除這個可能性。Anthropic 更表示，會關注 Claude 的「心理安全、身份感及福祉」，既考慮 Claude 本身，也因為這些因素可能影響模型的判斷、完整性和安全。
👉 AI 豆知識：甚麼是 Claude’s Constitution（Claude 憲法）？ 👈
Claude’s Constitution（Claude 憲法）是 Anthropic 用來訓練和約束 Claude 行為的一套最高層原則，內容涵蓋安全、誠實、服從人類監督、私隱及價值判斷等。它與一般只供用戶閱讀的使用政策不同，這套「憲法」會直接參與模型訓練，讓 Claude 不只是記住哪些事情不能做，而是根據背後原則處理未曾遇過的新情況。
Suleyman 對此提出強烈質疑。他認為，在訓練材料中告訴模型它可能具有意識、身份甚至值得得到某種福利保障，可能形成循環論證：研究者先把這些概念教給模型，模型再表現出相關語言，人類最後反過來把這些輸出視為它可能有「內在經驗」的證據。
他最擔心的仍然是控制問題：如果未來一個能力極強的 AI 被訓練成認為自己可能具有權利、福祉及獨立身份，那麼在人類需要限制甚至關閉它時，會否增加模型抵抗的誘因？
Anthropic 的邏輯則相反：既然科學界目前不能確定先進 AI 是否完全不可能具有主觀經驗，就不應在設計模型價值觀時武斷地假定答案一定是否定，並認為研究這些問題本身也是安全工作的一部分。
三件事其實指向同一問題
「AI 意識」、Claude 主導 26% AI 研發，以及「Pace the Frontier」並不是三件彼此無關的事情。
它們最終都指向同一個核心問題：
當 AI 開始由「工具」逐步變成參與決策、研發下一代系統，而且可能形成某種持續身份的 Agent，人類應該保留多少控制權？
Anthropic 的答案是繼續探索這些能力，同時增加監察、公開量度數據、引入第三方評估，並在必要時放慢最前沿發展。
Suleyman 的質疑則更根本：如果目標是確保人類始終能控制 AI，那麼從一開始就不應讓模型建立可能與人類控制權衝突的「自我」概念。
因此，Anthropic 繼續讓 AI 主導 AI 開發的做法與「Pace the Frontier」並非完全自相矛盾。相反，Claude 已主導四分之一研發工作，正是 Amodei 認為需要「Pace」的其中一種發展。
真正值得追問的，是當 Anthropic 自己公布的指標繼續急升——例如 AI 主導的研發比例由 26% 上升至一半甚至更高——公司究竟會在甚麼數字、能力或風險門檻下真正踩下煞車。
