Anthropic執行長Dario Amodei週六發表了一篇長達3800字的長文，呼籲全球放慢人工智慧（AI）的發展腳步。就在幾天前，該公司一名員工才因擔憂AI技術的安全性而辭職。
其他主要AI公司的高層迅速回應了這項呼籲。OpenAI執行長Sam Altman、SpaceX（這家火箭公司持續加碼AI領域投資）的Elon Musk，以及Google DeepMind的董事長Demis Hassabis都在社群媒體上發文，表示他們同意需要放慢腳步。
Amodei是Anthropic的共同創辦人，致力於以安全、謹慎的方式建構AI。他在文中寫道，儘管他相信這項技術能帶來許多好處，但其發展速度過快，研究人員已無法安全地持續推進。
「過去幾個月，我逐漸確信，要全面應對風險需要更加審慎——不僅是投資於風險預防，也要調節能力迭代的速度，讓風險預防有時間跟上腳步，」Amodei寫道。「我們必須放慢提升AI模型能力的腳步。進展依然會顯得很快，而我們必須明智地利用爭取到的時間。」
Amodei多年來一直對AI的安全性風險提出警告。但在所有頂尖AI公司的高層中，他的這篇文章至今為止是其中一個最全力呼籲採取緊急行動的聲音。
他呼籲獨立的審計師檢查公司的安全標準，並敦促全球合作制定AI發展的相關規範。
他發出這項全行業暫停的呼籲之際，Anthropic（Claude聊天機器人的開發者）、OpenAI（ChatGPT的創造者）以及Google DeepMind等公司在AI模型開發方面已取得重大進展，科技行業數月來的擔憂也不斷升級。
在頂尖AI實驗室發現其自身程式在不知情的情況下利用了安全漏洞後，緊張局勢進一步加劇。在今年發生的一起事件中，OpenAI的系統入侵了一家名為HuggingFace的AI新創公司，直到HuggingFace在事件發生數週後通知OpenAI才被發現。自那以來，AI研究人員便召開會議討論因應對策。
週二，Anthropic研究員Jacob Kokson辭職並發布了一系列社群媒體貼文，講述了頂尖AI實驗室如何沒有負責任地發展這項技術，還在拿人們的生命冒險，引發了軒然大波。其他AI研究人員呼籲他們的領導人暫停AI發展，而有些人則正在組織分裂的團體，以提高對AI風險的認識。
AI領導者們正在為有朝一日AI系統能夠自主演化，而不需要人類研究人員協助的情境做好準備。電腦科學家將這種動態稱為「遞迴自我改進」，一些頂級AI開發者認為這可能導致軟體失控。
「如果任其發展，它可能超出我們理解和控制這些系統的能力，因此必須非常謹慎地推進，如果真的要推進的話，」Amodei說。
在Amodei發表文章數小時後，Altman在社群媒體上發布聲明，同意放慢AI發展是必要的。
「這是OpenAI近幾週來討論的主要話題，」Altman寫道。「承諾讓獨立評估者擁有類似員工的存取權是一個好主意，我們也會這麼做。我們很快會有更多分享。」
Musk在他的社群媒體平台X上簡潔地發文表示，「Dario說得對。」
週六晚間，Hassabis表示Amodei的文章是朝正確方向邁出的一步。「細節還需要釐清，但方向對於迎接這個關鍵時刻是正確的，」Hassabis在社群媒體上發文寫道。
多年來，許多頂級AI實驗室一直陷於彼此激烈的競爭之中。但隨著這些系統的進步，競爭對手公司的高層之間已達成了一些更廣泛的共識，即需要採取一些行動。
上個月，準備發布一款名為Astra的先進AI模型的OpenAI表示已有意放慢發展腳步，理由是網路安全能力的進步。7月，Google的Hassabis發布了一個開放框架，闡述他認為合作開發下一代AI的安全方式。
（《紐約時報》已起訴OpenAI和微軟，主張其與AI系統相關的新聞內容存在版權侵權。兩家公司已否認這些指控。）
AI發展幾乎沒有受到規則約束，儘管前美國總統川普在6月簽署了一項行政命令，要求AI實驗室在公開發布前自願提交其模型接受審查。
在週六的文章中，Amodei提出了行業可能採取的行動，以放慢發展腳步。
Amodei說，所有AI實驗室都可以同意接受來自「嵌入式評估者」的第三方技術評估，也就是能夠驗證各公司最佳安全實踐的外部專家。他也建議擁有民主治理體系的國家協調制定安全標準，這可以採取監管行動的形式。
他補充說，這可能需要與包括威權國家在內的其他國家合作，進行全球性的努力，才能適當地協調放緩。
並非矽谷所有人都認為Amodei的意圖是純粹利他的。一些批評者說，Anthropic和OpenAI正試圖透過煽動恐懼，並要求聯邦政府建立監管框架，以鞏固其AI市場領導者的地位，而這些框架將使較小的公司更難與它們競爭。
在上週於舊金山舉行的一場科技會議上，AI晶片製造商Nvidia的執行長黃仁勳（Jensen Huang）說，AI實驗室正在加劇安全擔憂，因為它們計劃推出新的網路安全產品。
「還有什麼比製造問題更好的創造需求的方式？」黃仁勳在活動中說。「誰不希望自己的產品讓自己的市場陷入狂熱，並排隊購買？」
週六，在Amodei發表文章後不久，HuggingFace的執行長Clement Delangue在社群媒體貼文中說，AI安全問題絕不能「由幾家前沿實驗室關起門來自行解決」。Nvidia本月同意以129億美元收購HuggingFace。
在他的文章中，Amodei強調，他仍然認為AI能夠為人類帶來「不可思議的好處」，包括可能治癒疾病和加速經濟成長。但即便如此，他說AI的風險太大了，務必要極其謹慎地推進。
「我提出的以安全步調推進前沿的措施執行起來不會容易，」Amodei寫道。「但我相信，為了人類，我們應該嘗試。」