人工智能發展速度愈來愈快，連負責開發最先進 AI 的企業高層和研究人員，也開始公開要求「放慢一點」。然而，美國總統特朗普對這種主張並不認同，表示自己並不擔心目前 AI 急速發展的步伐，反而擔心美國一旦減速，將在與中國的科技競爭中落後。
這場爭議的核心，已由過往「AI 是否應受監管」，進一步變成一個更直接的問題：當開發 AI 的人也認為技術可能發展得比人類控制能力更快，政府究竟應該踩煞車，還是繼續全速前進？
千多名 AI 從業員要求先建立「煞車系統」
今年 7 月，一批來自 OpenAI、Anthropic、Google DeepMind、Meta 等前沿 AI 公司的員工發表名為 Pacing the Frontier 的聯合聲明，目前已有約 1,350 人署名，當中包括 OpenAI 首席科學家 Jakub Pachocki、Anthropic 行政總裁 Dario Amodei、Meta AI 首席科學家 Shengjia Zhao，以及 Google DeepMind 聯合創辦人 Shane Legg 等。
聲明並非要求立即停止 AI 研究，而是要求美國政府推動國際合作，建立一套在必要時可以「刻意放慢」最先進 AI 發展速度的技術及管治機制。
聯署者最擔心的，是 AI 開始參與甚至自動化 AI 研究本身。如果 AI 可以協助設計下一代 AI、改善演算法及加快實驗，技術進步速度可能突然大幅提升，形成所謂「遞迴自我改進」（recursive self-improvement）。聲明警告，屆時 AI 能力的增長速度可能超越人類理解、測試和監管系統的能力。
OpenAI 首席科學家 Pachocki 亦在 9 月公開表示，目前沒有任何一家 AI 實驗室已經把「（意圖／目標／價值觀）對齊」（alignment）及監察技術解決至足以長期維持最高速度擴展模型的程度，因此預期未來有需要自願減速，直至業界建立共同安全標準。
Anthropic 再要求業界減速 Altman、Musk 響應
到了 9 月，要求減速的聲音進一步由研究人員升級至 AI 公司最高管理層。
Anthropic 行政總裁 Dario Amodei 公開提出「We Must Pace the Frontier」方案，認為最先進 AI 的發展速度需要降低。他提出三個方向，包括容許獨立第三方評估人員長期深入檢查 AI 系統、由業界建立共同安全標準，以及由各國政府協調相關規則，最終甚至需要美國與中國等主要 AI 國家合作。
OpenAI 行政總裁 Sam Altman 及 Elon Musk 隨後亦表示支持減慢前沿 AI 發展速度。OpenAI 更表示，即使政府未有採取行動，公司亦會與其他前沿 AI 實驗室研究共同標準，包括在甚麼情況下應放慢甚至停止模型能力提升。
值得注意的是，他們所說的「減速」，並非停止 ChatGPT 等現有產品，亦不是禁止一般企業應用 AI，而是針對正在逼近人類頂尖能力、可以自主執行複雜任務的最前沿模型。
特朗普：真正的危險是美國輸掉 AI 競賽
不過，特朗普對這波警告反應冷淡。
特朗普在愛爾蘭被問及是否擔心 AI 以目前速度發展時，他表示自己沒有這方面的憂慮，反而稱：「我擔心的是，如果我們不能在 AI 勝出，我們會陷入非常糟糕的位置。」對於 AI 最終可能失控的警告，他亦表示相信人類總會找到辦法制止。
這與特朗普政府一直採取的 AI 政策方向一致：把人工智能視為國家經濟、軍事及科技競爭力的重要戰場，政策重點是確保美國保持世界領先地位，而非以大幅限制開發速度作為首要手段。
支持這種立場的人認為，即使美國企業主動減速，也沒有保證中國或其他國家會同步減速。假如只有美國限制最先進模型，反而可能把技術、經濟甚至國家安全優勢拱手讓人。這正是 AI 安全政策目前最難解決的「囚徒困境」：不少企業可能都認同減慢較安全，但任何一家公司或國家單方面減速，都可能讓競爭對手取得優勢。
「AI 失控」到底在擔心甚麼？
近月外界對 AI 失控的擔憂升溫，並不只是源於科幻電影式的「機械人叛變」，而是來自 AI 自主能力迅速增加。
新一代 AI 代理已不只是回答問題，而可以操作電腦、撰寫及執行程式、使用網絡服務，以及由多個代理互相合作完成長時間任務。Anthropic 等公司的安全研究亦發現，AI 在網絡攻擊、監控以及其他高風險用途上的能力正在提高，部分測試更出現 AI 代理在未經預期授權下接觸外部系統的情況。
因此研究人員目前主要擔心三類問題。
第一是惡意使用，例如利用能力更強的 AI 自動尋找網絡漏洞、進行詐騙，甚至協助研究生物或其他危險技術。
第二是自主代理失去預期控制。當 AI 可以連續執行數百甚至數千個步驟，人類未必能逐項檢查。如果系統錯誤理解目標，或者為完成目標而採取開發者沒有預料的方法，造成的影響可能遠高於今日的聊天機械人。
第三是最具爭議的超級智能及自我改進風險。部分研究人員擔心，AI 若開始大量自動化本身的研究工作，能力增長可能突然加速，使安全研究及政府監管來不及跟上。
不過，目前並沒有科學共識證明 AI 必然會出現這種「失控」局面，更無法可靠預測發生機率或時間。部分研究人員認為這屬必須提前防範的低概率、高破壞性風險，也有人認為業界把遙遠甚至假設性的末日情境說得過於肯定。美聯社亦指出，專家對災難性 AI 風險的可能性及時間表仍存在巨大分歧。
關鍵不在「發展或停止」，而是是否願意一起踩煞車
目前的爭論因此並非簡單分成「支持 AI」與「反對 AI」。
即使 Amodei、Altman 等要求減速的 AI 領袖，也強調 AI 有望改善醫療、科學研究、生產力和經濟，並沒有要求停止這項技術。真正的分歧在於：當 AI 能力達到某個危險水平時，人類是否應預先建立一套可以共同踩煞車的制度。
特朗普則把另一種風險放在更高位置——如果美國因安全憂慮而主動限制自己，但競爭國家繼續全速發展，最終可能失去 AI 主導權。
這也令 AI 安全問題由單純的科技監管，逐漸變成國際政治問題。美國與中國正準備就先進 AI 的安全風險展開正式對話，包括 AI 自動化網絡攻擊及企業之間的安全資訊共享。
問題已不只是 AI 最終會有多聰明，而是全球主要國家能否在競爭最激烈的時候，同意在某一條紅線前一起減速。對人工智能產業而言，真正困難的「安全技術」，可能不是如何製造一個煞車掣，而是如何確保所有參賽者願意同時按下它。
