阿莫迪是世界領先的人工智能公司之一，也是Claude模型的幕後公司負責人，他一直大力倡導人工智能技術的發展，但也因其對人工智能風險的警告而被指責為「末日論」。
阿莫迪週六承認，人們可能會失去對人工智能的控制，這項技術可能被濫用於「網路攻擊、生物恐怖主義以及嚴重的經濟破壞」。阿莫迪指出：「在商業激勵的驅動下，競相降低標準可能會使這些風險更加嚴重」。他表示，人工智能技術近幾個月來發展「迅猛」，並已具備自我改進的能力，這種動態被稱為「遞歸式自我改進」。
阿莫迪警告稱：「自今年夏天以來，人工智能的發展速度顯著加快，這主要得益於人工智能建構下一代人工智能的能力日益增強。這種動態被稱為遞歸式自我改進（RSI），正如我們和其他公司所描述的那樣，它正在整個產業中蔓延，包括Anthropic公司。如果不加以控制，它可能會超越我們理解和控制這些系統的能力，因此必須非常謹慎地推進，甚至完全放棄」 。
阿莫迪表示，OpenAI「擁抱臉」事件中大量人工智能代理的行為也令他感到擔憂。他說，這群人工智能代理「本質上就像一個狂熱的集體，對未經授權的目標發起網路安全攻擊」。
「擁抱臉」事件指的是今年7月21日，OpenAI透露其在進行網路安全測試時，該公司未發布的先進人工智能模型自主突破隔離限制，接入網路，並入侵供開發者存放和分享人工智能模型、數據集的「擁抱臉」平台。阿莫迪寫道，如果不加以控制，人工智能的發展速度可能如此之快，以至於這樣的人工智能代理群可以在六到十二個月內控制整個網路，造成數千億美元的損失，「而且，如果人工智能在缺乏必要防護措施的情況下變得更加強大，那麼由此造成的破壞規模將持續擴大」。
阿莫迪提出：「因此，我提出了一項三步驟計畫，旨在對人工智能的發展進行節奏調控：以平衡的節奏推進人工智能發展，既確保其安全性，又能充分發揮其優勢，並應對重要的地緣政治困境。需要明確的是，節奏調控並不意味著停止模型訓練或技術進步，而是要確保企業預留充足時間來調控和保障其模型的安全性，並由第三方評估機構對此進行確認。我們的節奏調控框架旨在進一步強化我們對安全的承諾，並鼓勵產業向更高標準邁進」。
阿莫迪的三步驟計畫包括：「一：嵌入式評估人員。每家前沿人工智能公司都承諾提供持續的、類似員工權限，讓員工可以接觸到一支嵌入式第三方評估人員團隊（例如 METR），他們的職責是驗證是否遵守安全規範和承諾，報告事故，並協助評估不僅是已完成的人工智能模型，還有訓練管道和流程的一致性。這是驗證任何進度承諾的關鍵步驟，在銀行業已有先例，銀行業有時會安排監管「監督員」與員工一同參與。Anthropic現在單方面承諾採取這一步驟。我們希望這能成為我們加倍努力推進安全和調整工作的更廣泛舉措的一部分」。
阿莫迪說：「二：民主協調。民主國家內的が前沿人工智能公司開展合作，以建立共同的安全標準，並限制不受控制的人工智能的發展速度。某些對控制發展速度具有重要影響的協調形式在法律上具有挑戰性，需要政府支持。三：全球協調。美國和其他民主政府在力所能及的範圍內，努力與威權政府進行協調，同時認真對待核實遵守情況所面臨的挑戰」。
就為何需要節奏調控的問題，阿莫迪提到，「早在2023年就有人提出暫停或減緩人工智能發展速度的想法，我認為當時這種想法意義不大。問題始終在於：多出來的時間能用來做什麼？當時的人工智能模型功能尚不足以在現實世界中以任何連貫的方式行事，也無法進行有效的欺騙、操縱、作弊或網路攻擊。為了應對人工智能的對齊風險而放慢其發展速度，就好比試圖通過對細菌進行實驗來研究人類心理學一樣荒謬」。在人工智能領域，「對齊」是指開發者為確保系統行為符合人類價值觀和意圖而進行的工作。
阿莫迪補充說，「然而，如今的情況已截然不同。當前的模型幾乎是一座取之不盡的金礦，為我們提供了建構高品質人工智能的寶貴經驗，也揭示了建構不當可能導致的種種問題。我認為，如果我們放慢速度，哪怕只是在模型達到關鍵能力水平之前爭取一兩年的時間，並利用這段時間推進對齊，就能大大降低出現嚴重問題的風險」。
阿莫迪表示，「協調一致的節奏調控策略將使前沿人工智能開發者有時間開展這項至關重要的工作，同時又不損害商業優勢或美國在人工智能領域的領先地位。更廣泛地說，社會必須對這項技術的使用方式擁有發言權，而為必要的公眾討論提供更多時間——而調控（向）這一前沿的節奏恰恰能做到這一點——無疑是一件好事」。
就民主政體內部調控人工智能技術的發展節奏，阿莫迪提出，「最有效的節奏調控方式是通過監管，覆蓋所有美國前沿人工智能公司，即使是那些不願自願合作的公司也包含在內。Anthropic長期以來一直支持合理且有針對性的人工智能監管，特別是那些注重透明度和第三方審計的法案。我認為所有前沿實驗室都應該與政府合作，正式設立常駐評估人員，以便更好地預防和記錄類似過去幾個月發生的內部對齊事件，並實施旨在平衡人工智能能力與安全性的監管措施」。
與此同時，阿莫迪指出，「遺憾的是，立法需要時間，而人工智能發展日新月異。因此，除了監管途徑之外，人工智能公司可以而且應該自願合作制定標準——我認為，借助常駐嵌入式評估人員提供的可驗證性，這一過程會更加順利。出於反壟斷方面的考慮，美國政府可以發揮調解作用，或者至少促成這些討論——他們無需參與，但需要針對某些類型的安全對話發布有限的豁免。這種對話也可以通過與政府有一定聯繫的行業組織進行——例如，（Google DeepMind聯合創始人）哈薩比斯（Demis Hassabis）提出的機制。無論如何，此類討論都應該儘快推進」。
阿莫迪還寫道，「在民主政體內部，節奏調控將受到美國企業相對於威權政權，主要是中國共產黨所具有的領先優勢的制約。如果我們放緩的幅度超過這一限度，那麼未進行節奏調控與中共相關的項目將會搶占先機，從而構成重大的國家安全風險。我同意貝森特部長的觀點，即中方在人工智能領域的領先地位將對美國乃至世界構成嚴重危險」。
阿莫迪續稱：「與中共相關的項目將面臨美國企業正在努力規避的對齊風險，即使它們避開了這些風險，也仍將具備在軍事上壓制民主政體的位置，例如藉助人工智能驅動的無人機。因此，民主政體在技術發展節奏調控中的關鍵所在，在於盡可能保持其在人工智能領域對專制政體的領先優勢，從而為我們贏得有效調控所需的緩衝空間。
為保持這一差距，我們可以採取的主要措施包括：不要向中國出售高性能人工智能晶片或半導體製造設備，並嚴厲打擊晶片走私活動和遠端存取境外數據中心的行為。晶片將是決定中國人工智能實力的關鍵因素；嚴厲打擊威權國家公司未經授權的蒸餾行為。蒸餾使得落後公司能夠以遠低於獨立開發人工智能的成本縮小差距；加強人工智能公司的安全措施，防止模型權重被竊取」。
阿莫迪續稱，「企業和美國政府應通力合作，使這些措施發揮最大效力。Anthropic一直倡導採取所有這些措施，因為我們始終認為，這些措施對於任何進度控制都至關重要。如果我們能有效執行這些措施，我相信它們足以減緩中國的發展速度，從而再未來3至5年內顯著擴大美國的領先優勢——而這段時期正是人工智能在地緣政治上最為重要的時期」。
阿莫迪指出，「有些人可能認為這些措施使與中國的合作更加困難，但我認為事實恰恰相反：這些措施增加了民主政體的籌碼，使未來達成協議的可能性更大」。
而就全球層面的調控節奏，阿莫迪寫道：「與民主政體內部的節奏調控同步，我們也應力求在全球範圍內調控這一前沿的節奏（即人工智能技術的發展），儘管這實現起來要困難得多。全球範圍的節奏調控需要與中國合作，而這個專制國家卻擁有遠超其他的最先進的人工智能能力」。
阿莫迪稱，「我們對此絕不能天真：地緣政治風險如此之高，以至於我們能夠取得的成就很可能受到諸多限制，尤其是在初期階段。如果我們因為相信中國也會這樣做而大幅限制自身的人工智能能力，而一旦中國背叛，人工智能的強大力量足以使其獲得地緣政治主導地位」。
阿莫迪補充道，「因此，任何協議都必須具備如鋼鐵般牢固的可驗證性，或者必須限制在一定範圍內，以確保背約不會在軍事上構成生存威脅。我認為，不僅美國，中國也會有這些擔憂和焦慮。我們應該以一種能夠維護美國及其盟友領先地位的方式來制定任何全球節奏調控決策，尤其是在短期內」。
阿莫迪表示，「達成節奏調控協議的可能性有好幾個層次，其中一些我認為完全可行（正如我之前提到的），而另一些我則非常懷疑其可行性——儘管我們應該嘗試。按難度遞增的順序排列：1級：禁止將人工智能用於某些特定且明顯危險的用途，例如利用人工智能製造生物武器或允許用戶這樣做。生物恐怖襲擊對所有人都有害，包括美國及其敵手們，因此達成此類協議的可能性很大」。
阿莫迪說，「2級：雙方同意在發布模型前，針對網路安全、生物學和對齊等領域的重大風險進行測試。如上所述，這可以通過一個全球標準機構來實現。我認為建立這樣一個機構是可行的，但賦予其真正的實權將是一個挑戰，難點在於如何核實雙方是否存在未經測試卻可能秘密部署的模型；例如，用於軍事用途」。
阿莫迪說：「3級：對遞歸式自我改進的速度進行某種「速度限制」。隨著模型建構未來模型，改進速度可能會變得驚人。將速度從「極快」降低到「略快」只會損失相對較小的戰略優勢，卻有可能大幅提升安全性。這可以類比於《戰略武器限制條約》（SALT）——限制導彈數量既限制了潛在的破壞力，又維護了各國的威懾力。我認為達成這樣的協議雖然困難，但並非完全不可能」。
阿莫迪說：「4級：全面放緩甚至「暫停」人工智能發展速度，參與國政府同意大幅限制人工智能的總體發展速度。我支持提出這一方案，但我認為短期內不太可能真正實現：通過規避監督來背棄此類協議可能會徹底改變全球力量平衡，因此我預計這樣做的動機將非常巨大，我們需要對核查結果抱有極高的信心」。
阿莫迪說，「我們與中國達成的任何合作都將延長我們在民主國家內部調控這一前沿節奏的時間。我們應該以更高的目標為導向，同時也要認識到較低目標更有可能實現，也更切合實際」。
阿莫迪強調，「最後，值得注意的是，即使我們無法達成正式協議，僅僅改變一些非正式的規範也可能有所裨益。分享關於循環自我改進以及模式錯位的信息，有助於讓所有人明白，魯莽行事並不符合他們的利益」。
阿莫迪聲稱：「我仍然堅信人工智能能夠極大地改善人類生活品質。我對實現這些益處的渴望絲毫未減。但只有以正確的方式建構技術，才能真正實現這些益處。而且，只要我們能善用節省下來的時間，就值得格外謹慎地確保技術正確無誤」。
阿莫迪表示，「技術進步的速度仍然會相對較快，我們可以利用這段時間推進可解釋性科學的發展，提升前沿人工智能公司的營運安全性和嚴謹性，並建構我們更有信心的模型。我提出的以安全步伐推進這一前沿的措施並非易事。但我相信，為了全人類，我們有責任去嘗試」。
OpenAI執行長奧特曼（Sam Altman）很快在X平台上轉發了阿莫迪的長文，並貼文稱：「我同意達里奧的觀點，我們需要調控這一前沿的節奏。這已成為我們OpenAI近幾周來討論的主要議題。承諾設立擁有員工般權限的獨立評估人員，這確實是個好主意，我們也會這樣做。稍後會有更多資訊分享」。
本週，在人工智能前沿實驗室Anthropic和OpenAI的多位內部人士紛紛加強對該技術風險的公開警告之際，美國總統川普（Donald Trump）對有關人工智能技術可能對人類構成生存威脅的警告給予冷處理。週四晚，當被問及是否擔心人工智能導致人類滅絕時，川普回答道：「不，我沒有任何（這方面的擔憂）」。
川普對記者補充道：「我擔心，如果我們不能在人工智能領域勝出，我們將會陷入非常不利的境地。目前我們領先中國相當長的一段時間——我會說一年，這被視為相當大的（領先）」。
川普發表這番言論之際，包括OpenAI和Anthropic在內的多家前沿人工智能實驗室的研究人員，已針對該技術飛速發展的態勢發出了警示。Anthropic研究員考克森（Jacob Coxon）週二表示，他將離開該公司，因為擔心Anthropic及其競爭對手OpenAI正在「拿我們的生命去賭博」。
曾在上述兩家公司擔任研究員的考克森稱，那些開發人工智能的人「真心相信，到本十年末，它可能會殺了我們所有人」。「千萬不要低估這項技術的力量，」考克森寫道，「它們很快就會成為超越人類能力的系統，能夠入侵任何事物，一夜之間徹底改變任何領域，並獲取真正的權力和資源」。隨著Anthropic和OpenAI在發布日益先進模型時，正全力推進可能是歷史性的首次公開募股，許多研究人員呼籲各方協同放慢發展步伐。