就這樣站在一列高速列車旁，大聲疾呼要它減速，這需要莫大的勇氣。這正是領先的人工智慧公司Anthropic的執行長Dario Amodei所做的。Amodei擁有世上最強大的人工智慧模型，而且極有可能擁有資本主義史上成長最快速的營收。牠們的領先優勢還會擴大，因為牠們很可能最接近「遞迴自我改進」（AI自主創造更強大版本的時刻）的起飛點。然而，就在上週六，Amodei發表了一篇文章，呼籲放慢AI的發展速度。他宣稱，遞迴自我改進「必須非常謹慎地推進，如果真要推進的話」。
很難想像還有哪位執行長做過如此有膽識的事情——尤其是一位同時還在籌劃轟動性首次公開募股（IPO）的執行長。他勇於直面重大問題，理應獲得充分的讚許。然而，這並不等於說他已經找到了解決方案。
Amodei表達了他以及Anthropic內部智庫的擔憂：AI代理程式「集群」可能會在未來六到十二個月內具備「接管整個網際網路」的能力。他擔心，若沒有先進的安全護欄，「災難的規模將持續擴大。」
因此，他提出了「步調控制」——放慢AI能力的提升，讓人們的安全研究能夠跟上。身為第一步，Anthropic將授予外部專家永久的通行證和系統權限。這些常駐評估者將會監控Anthropic的安全措施，並向大眾報告相關事件。
先前，業界曾拒絕過放慢或暫停AI發展的呼籲。而這次，由於這項技術的進展令人擔憂，三位競爭公司AI高管——Sam Altman、Elon Musk和Demis Hassabis——都對Amodei的文章表示讚賞；Altman甚至表示，他將效仿Amodei的做法，在其公司OpenAI內部引入常駐評估者。
過去，AI實驗室不知道在暫停期間該做些什麼。如今牠們改變了立場，是因為現在牠們有一份長長的待辦事項清單。
如果各實驗室在操作細節上更加謹慎，最近發生的許多AI安全事件本是可以避免的。在今年夏天已知連續發生的五起事故中，有三起涉及所謂的「沙盒」組態錯誤——沙盒是一種受控的數位測試環境，AI代理程式本來是不應該能夠逃脫的。
為了消除這些故障，實驗室需要加強對實驗模型的隔離，從訓練資料中清除那些會誘導模型產生不良行為的內容，並修復無數其他的協定。「在技術複雜且安全至關重要的系統中，數以百萬計次的操作卻能毫無差錯是有先例的——例如商用飛機，」Amodei在他的文章中寫道。「然而，這需要時間才能做到完美。」
Anthropic一些競爭對手的高管——尤其是晶片設計公司Nvidia的老闆黃仁勳——隱晦地指責Amodei出於商業原因誇大了AI的風險。黃仁勳在沒有點名Amodei的情況下稱，透過宣布AI具有危險性，Amodei實際上只是在吹噓AI有多麼強大。在黃仁勳看來，呼籲安全只是一種行銷手法。
但包括學術專家、備受推崇的英國政府AI安全研究所，以及最近關於失控AI代理程式駭客攻擊Hugging Face網站的獨立報告在內，公正的權威機構都支持Amodei關於AI風險真實存在的觀點。黃仁勳希望自己的公司能售出更多支援AI的晶片，因此他所持的立場才是完全符合其公司經濟利益的。
黃仁勳主張的一種變體認為，Amodei正在大肆渲染AI風險，以確保政府實施監管，而這是一種壓制競爭對手並鞏固Anthropic領先地位的冷酷伎倆。然而，這種「監管俘獲」的說法也是本末倒置。懷疑競爭對手可能會因監管而遭受損失的最大原因，是牠們通常更加危險。許多公司生產「開放權重」的AI模型，這些模型允許使用者移除安全護欄。
對Amodei先生提議的合理批評在於，這一提議不會帶來他所希望的AI發展放緩。他將常駐評估者作為邁向協同步調控制的一步：如果民主國家所有實驗室都接受這些評估者，他們就可以驗證，是否存在投機者採取不負責任的捷徑。
然而，目前尚不清楚是否所有或大多數實驗室都會效仿Anthropic的做法——或者，即使牠們這樣做了，評估者是否會有幫助。Google子公司DeepMind先前曾邀請獨立評估者監督其在基於AI的健康產品方面的工作。為了急於展現公信力，這些評估者誇大了DeepMind的缺點，直到Google解雇了牠們。
公平地說，Amodei提議引入評估者，是因為國會不太可能迅速採取行動，建立一個迫使實驗室負責任行事的政府監管機構，而這本是實現協同步調控制最明顯的途徑。但他只是簡要地提到了另一種可能證明有用的協調機制：一個由產業資助但受到政府認可的自律機構，正如DeepMind主席Hassabis在兩個月前所提議的那樣。
美國的AI巨頭應該立即建立這樣一個機構。政府可以透過確保將此類產業協調可能引發的反壟斷疑慮降至最低或予以豁免來提供協助。
然而，即使這樣也仍然不夠。針對任何AI發展減速的提議，更廣泛的協調難題在於中國。「民主國家內部的減速節奏將受限於美國企業領先威權政權——主要是中國共產黨——的幅度，」Amodei寫道。鑑於美國對中國的領先優勢只有幾個月，Amodei的意思是，西方的放緩必須是適度的。但他也表示，為了更安全地發展AI，可能還需要一到兩年的緩衝期。
如何在不落後於中國的情況下為安全爭取更多時間？在這裡，Amodei重申了他的觀點：應該拒絕向中國提供AI進步的工具。美國應該收緊對晶片及晶片製造設備的出口管制。應該打擊「蒸餾」（使用高級模型來訓練新模型的做法），因為中國正不擇手段地使用這種捷徑。應該加強西方實驗室的安全性，以阻止中國竊取AI機密。這些措施可以擴大西方在AI領域的領先地位，從而使放緩步調成為可能。
這一策略早已付諸實踐，但結果並不令人鼓舞。拜登政府在2022年對中國實施了晶片出口管制；一段時間以來，漏洞一直很明顯，但無論是拜登團隊還是特朗普團隊都未能充分堵住這些漏洞以遏制中國的進步。
與此同時，西方前沿實驗室有巨大的動機來防止蒸餾並防範其知識產權被竊取。如果牠們尚未成功，那可能是因為牠們不知道該怎麼做。儘管美國極力阻礙中國的AI產業，但在美國的AI使用量中，中國模型的占比卻在不斷增長。
除了壓制中國之外，另一種選擇是讓中國成為安全與發展節奏方面的夥伴。在此之前，Amodei一直支持美國外交政策的共識，即與中國談判達成AI協議幾乎是不可能的。因此，他文章中最重要的一部分也許是最後一部分，在這一部分中，他似乎軟化了自己的立場。他避免點名批評中國的技術威權主義和對少數民族的壓迫，並列出了一系列可能進行合作的領域。在冷戰期間，美國與蘇聯進行了激烈的競爭。但這並未阻止他們達成軍備控制協議。
特朗普總統計畫於9月24日會見中國領導人習近平。預計這次峰會在AI外交方面成果有限，但好消息是，兩國領導人可能在今年年底前再會面兩次。超級大國在防止超越人類的AI模型造成嚴重破壞方面有著共同的利益，中國領導人清楚地認識到了這一點。無論美中協調有多麼困難，不協調的後果都使得嘗試協調成為必要。
美中關係的冰冷狀態正是導致放緩AI發展變得如此難以實現的原因。只有當特朗普政府以及像Amodei這樣的科技領袖全力支持與北京舉行AI談判時，這項技術的積極潛力才能得以實現。