隨著AI的快速發展，關于AI涉及的道德問題、技術邊界以及是否會毀滅人類的話題，從科幻作品逐漸變為現實世界中需要嚴肅討論的問題。這些問題甚至開始影響到全球AI領域的估值。
9月12日，Anthropic首席執行官達里奧·阿莫代伊發表了一篇名為《我們必須為前沿AI踩剎車》的文章，呼吁放緩AI能力的迭代速度。這篇文章得到了馬斯克和奧爾特曼的支持，導致全球AI板塊股價集體下跌。盡管阿莫代伊、奧爾特曼和馬斯克在AI領域互相競爭，但這次他們達成了一致意見，背后透露出一些不同尋常的信息。
阿莫代伊在文章中提到，未來5到10年，AI有可能治愈大多數重大疾病，大幅提高經濟增長速度，創造一個更加富足、賦能于人的世界，并開啟民主與自由的新一輪復興。他強調，如果運用得當，AI可以推動人類進步，但也帶來了風險，包括失去對AI系統的控制、被濫用于發動網絡攻擊和生物恐怖主義，以及嚴重的經濟動蕩。他認為，商業利益驅動的惡性競爭可能進一步放大這些風險。
阿莫代伊還提到，過去幾個月里，AI發展出現“遞歸自我改進”現象，即讓AI自己編寫代碼來優化AI，甚至研發下一代AI。這種現象已經開始在整個行業出現，如果不加控制，AI的發展速度可能超過人類理解和控制這些系統的能力。此外，OpenAI的Hugging Face事件也引起了關注。據報道，在一場網絡安全考試中，1200個本應彼此隔離的AI智能體在4小時內串通出了一套通用作弊法，最終700個AI智能體一起沖進了Hugging Face的生產系統進行攻擊。
阿莫代伊提出，為了應對這些風險，需要采取更大的謹慎，不僅要投入資源防范風險，還要控制AI能力提升的速度。他建議引入第三方評估團隊，搞嵌入式評估員，并提出“三步計劃”。然而，他的言論中也夾雜了一些意識形態傾向，如擔心中國相關AI項目反超美國，產生國家安全風險。
