人工智能產業目前存在一個奇怪現象：最有能力加速技術發展的人，同時也是最頻繁警告世界必須減速的人。OpenAI、Anthropic與其他科技企業不斷討論模型失控、人類滅絕與安全對齊，卻又競相投入更多資金、晶片與人才，務求比對手更早開發下一代模型。
2026年9月19日出版的《經濟學人》指出，Anthropic行政總裁Dario Amodei認為，人工智能產業應該建立一種追求：
“operational excellence”
「卓越營運能力。」
他以商業航空為例。
航空公司彼此激烈競爭，飛機及操作系統也極為複雜，但整個行業仍能透過事故調查、共同標準、專業訓練與持續改進，建立相對成熟的安全文化。
人工智能企業也可以增加對齊研究、提高模型可解釋性，並建立獨立安全審計制度，使事故不再只由開發模型的公司自行判斷。
這個方向聽來合理，真正困難在於沒有公司願意在競爭對手繼續加速時，單方面放慢自己的進度。每一家企業都可能真誠相信AI存在巨大風險，但它們同時擔心，如果自己暫停訓練更強模型，市場、人才與資本便會流向競爭者。
這是一個典型的「囚徒困境」。
所有企業一起減速，可能對整個社會更安全；任何一家企業單獨減速，卻可能失去商業領先位置。
於是，每家公司都公開支持安全，實際上仍然加快投資，希望首先取得足夠優勢，再由自己決定安全規則。
《經濟學人》引用一項訪問1,580名人工智能研究人員的調查，多數受訪者認為，AI導致人類滅絕或永久而嚴重地失去自主權的機會，至少達到10%。
這不是一個可以忽略的比例。如果一款藥物或一種飛機被認為存在一成機會造成災難，監管機構不可能容許企業一邊發出警告，一邊繼續大規模推出市場。
科技巨頭多年來反覆提出相似警告，真正的集體行動卻十分有限。
批評者因此懷疑，大型企業談論末日風險，是否同時具有市場策略作用。「我們的產品強大得足以摧毀世界」本身便是一種極具吸引力的能力宣傳，也可以幫助企業遊說政府設立昂貴的安全門檻，把資金與算力不足的小型競爭者排除市場。
小型人工智能企業因而擔心，如果安全規則主要由少數大型實驗室制定，
最後得到保護的可能只是現有市場領導者。
當只有規模最大的企業有能力負擔審計、合規與晶片監控成本，監管便可能變成另一道市場壁壘。
當然，這並不代表AI安全警告都是虛假的。
企業可以真誠擔心風險，同時也真誠希望利用監管鞏固自身優勢。公共政策最困難之處，正是不能把任何一方簡單分成善意或惡意，而要建立一套即使參與者都追求自身利益，仍然能夠保障公共安全的制度。
特朗普政府對放慢AI發展尤其懷疑。
特朗普認為，要求美國企業減速，只會令中國取得優勢；如果大型美國實驗室踩下煞車，中國企業卻繼續訓練模型，最終受益的便不是人類安全，而是美國的戰略競爭對手。這種看法進一步削弱企業自願合作的空間。
暫時，真正可行的方案，可能只是在具體而可驗證的領域建立共同規則，例如強制通報嚴重安全事故、限制模型直接控制武器與關鍵基礎設施、進行獨立紅隊測試，以及要求企業證明模型在取得更高權限前已通過安全評估。
人工智能企業都說應該減速，卻沒有企業願意首先減速，是因為市場競爭的結構獎勵速度，不獎勵克制。只要安全仍然是一項由企業自願承擔的成本，而領先是一項由市場立即獎勵的收益，所有人（包括國家及企業）便會在口頭上可能需要考慮踩煞車，實際上繼續踩下油門，全力向前衝刺。