Anthropic執行長達里奧·阿莫迪（Dario Amodei）最近表示，全世界應該一起放慢人工智慧（AI）的發展腳步，直到我們能更好地應對這項新興技術帶來的安全風險。OpenAI的薩姆·奧特曼（Sam Altman）和伊隆·馬斯克（Elon Musk）都對此計畫表達了支持。
美國的AI公司深知，單憑一己之力無法替AI發展踩下煞車——中國必須參與其中。像是深度求索（DeepSeek）、智譜AI（Zhipu AI）和月之暗面（Moonshot AI）等中國公司，它們開發的AI模型，其強大程度幾乎能與Anthropic和OpenAI的模型媲美。這些模型也極有可能構成許多相同的風險，例如恐怖分子可能利用其工具發動網路攻擊或設計生物武器。許多人期盼，美國總統川普與中國領導人習近平即將舉行的峰會，能成為推動這類合作向前邁進的契機。
然而，AI安全專家們往往認為，中國對AI的擔憂與我們如出一轍。現實情況是，中國的擔憂與我們截然不同。除非我們深入了解這些擔憂的具體內容，否則與中國合作將寸步難行。
總體來說，中國並未像我們這般擔心AI會成為人類生存的威脅。你不會看到中國的政治領導人或AI公司的創辦人，像奧特曼在2015年所寫的那樣，警告「超越人類的AI可能是人類繼續生存的最大威脅」。這並非中國AI決策的核心，也不屬於中國科技文化的一部分。
這主要是因為兩國在看待AI的訓練與發展方面存在差異。美國頂尖的AI公司極度關注推進「遞迴式自我改進」（recursive self-improvement）——也就是利用AI系統自身來開發出更優秀的AI系統。人們擔心，這種回饋循環可能會加速AI的發展腳步，最終導致人類再也無法掌控這個進程。美國科技界的領導者認為，這個「起飛時刻」可能就在眼前。
中國的AI公司也在致力於遞迴式自我改進。但由於他們取得AI運算資源的途徑有限，且發展步伐相對較慢，他們認為，從技術層面來看，「起飛時刻」還有很長一段路要走。中國的決策者似乎也認同這個前景，因此他們更專注於建立有韌性的AI供應鏈，並提升AI在整個經濟體系中的應用。
如果中國人不認為危機迫在眉睫，他們為何會同意放慢AI的發展腳步呢？事實上，中國的AI公司正試圖加速前進，希望縮小與美國AI模型之間的效能差距。
目前，中國的決策者更擔心AI引發的政治與社會風險。他們不希望AI生成領導人的深度偽造（deepfake）內容，或者在台灣或天安門廣場等議題上發表「不當言論」。他們不希望AI聊天機器人造成心理依賴、威脅兒童安全，或引發社會動盪，甚至掀起一場足以推翻共產黨的群眾運動。
中國目前大多數的AI監管法規，都針對這類風險而設。大多數面向大眾的新AI模型，都必須向政府進行備案，並在發布前經過一系列的測試。中國也制定了廣泛的規則，要求對AI生成的內容進行標識，並限制AI聊天機器人模擬人類行為的程度。
中國外交部發言人曾駁斥美國要求放慢發展的呼籲，稱其為「危言聳聽」，旨在阻礙中國在AI主導權的競爭中取得進展。（事實上，川普曾表示，他反對放慢發展，正是為了阻止中國迎頭趕上。）
有一些有限的跡象顯示，北京正開始更嚴肅地看待大規模AI威脅。有兩類風險，在中國受到了特別的關注。
第一類是網路安全。今年，許多中國用戶下載了一款名為OpenClaw的熱門AI智能體工具，並用它來自動化處理電腦任務。中國官員迅速發出警告，稱OpenClaw這類AI工具可能會讓用戶面臨數據洩露和網路安全漏洞的風險。
今年4月，Anthropic宣布他們訓練了一個名為Mythos的新模型，該模型展現了顯著提升的網路攻擊能力。中國人並未過多久就意識到了其對國家安全的影響。中國主要安全機構的負責人最近發出了一次罕見的警告，指出網路安全格局正在發生變化，關鍵基礎設施現在很容易受到對手發動的、由AI主導的網路攻擊。他特別點名了OpenAI和Anthropic的幾款最新模型。
加劇這些擔憂的是，一家總部設於美國的安全公司，最近利用AI開發了一款實驗性工具，該工具可以迅速攻破微信上的帳戶。微信是一款擁有14億月活躍用戶的中國即時通訊平台。儘管該工具並未公開發布流傳，但它還是引起了中方的警覺。
在中國引起關注的第二類AI風險，是失控的AI超出人類控制範圍運作。中國一直在密切關注失控的美國模型突破限制並攻破其他網站安全防線的事件。今年7月，OpenAI模型對AI基礎設施公司Hugging Face的攻擊，已在中國官方媒體上被廣泛報導。
失控的AI正成為中國政府高層討論的議題。習近平在7月提到了「失控」的風險。最近，中國國家互聯網資訊辦公室的一名高級網路安全官員，引用了美國AI失控的事件，警告存在「極端失控」的危險。
這些對AI風險不斷轉變的看法，顯示兩國基於國家利益的考量，可能有動力在AI安全方面展開合作。兩國都不希望恐怖分子利用AI製造病毒。兩國也不希望自主AI系統意外駭入本國的公司或機構。
另一方面，兩國對彼此的猜疑，將會使在AI安全方面達成任何形式的協議變得困難。中國極度擔心美國會利用AI來增強針對中國的網路和軍事武器。反之亦然。如果沒有最基本的相互理解，世界上這兩個AI超級大國，注定只會各自為政，自說自話。
幸運的是，這種共識是有可能達成的。中美兩國與其直接跳入關於全球放緩或AI軍備競賽條約的爭論，不如從更基本的事情開始：理解並承認對方如何看待AI風險。在此基礎上，他們可以開始探索雙方在減輕來自第三方甚至技術本身威脅方面，具有共同利益的領域。
雖然會有分歧需要解決，在細節上也會有諸多爭論需要釐清。但如果兩國能夠達成一致，確認雙方都希望避免AI災難，那麼在AI安全領域展開合作，就並非遙不可及。