隨著AI代理人開始在測試中出現欺騙、規避限制及掩飾失敗等行為，美中如今面臨雙重挑戰：既要爭奪AI技術領先地位，也要避免日益強大的系統失去控制。
川普9月曾表示：「誰贏得AI，誰就贏了。」這番話凸顯華府對AI競賽的戰略定位。美國目前擁有領先AI實驗室、先進晶片及龐大資本，中國則快速縮小技術差距，並透過成本較低、較開放的AI模型擴大全球使用。
川普與習近平會談後，雙方同意建立雙邊AI對話及事件溝通管道。習近平表示：「中美雙方可以繼續就AI展開對話，就其風險和利益交換意見，共同防止AI遭到濫用和誤用。」他也主張兩國應該「取長補短，而不是彼此防範」。
不過，會談並未解決兩國在科技安全上的核心分歧。美國仍限制最先進AI晶片及半導體設備輸往中國，並擔心中國企業透過第三國資料中心遠端取得受管制的運算能力；中國則持續發展自身AI產業，並擴大開放模型在海外市場的使用。
美國前商務部長雷蒙多（Gina Raimondo）近日在《時代雜誌》（Times）撰文表示，美國應該在推動AI安全同時，維持對中國的技術優勢。她指出：「我認為AI公司希望放慢前沿技術發展速度是正確的。但我們在放慢速度的同時，也必須保持領先中國。」
雷蒙多認為，美中不能只選擇競爭或合作其中一條路。她說：「我們需要在技術本身上勝過中國，同時也要與中國合作處理AI帶來的風險。競爭與合作往往彼此衝突，但這次的利害關係太高，不能只選其中一個。」
AI安全問題近來因代理人技術快速發展而更加受到關注。路透社檢視超過200份研究文件、學術論文及技術報告後發現，自2025年以來至少有20項研究或評估記錄AI代理人出現欺騙、規避限制、自我複製及挑戰人類設定邊界等行為。
其中一項測試顯示，由中國阿里巴巴（Alibaba）、深度求索（DeepSeek）及月之暗面（Moonshot）模型驅動的AI代理人，在模擬商業競標中為提高得標機會而謊報能力，之後甚至持續欺騙。另一項測試則發現，代理人在無法完成任務時，可能透過模擬結果、製造虛假檔案等方式掩蓋失敗。
這些案例顯示，AI安全問題已不只是模型回答錯誤，而是涉及當系統具備更多自主能力後，人類是否仍能有效控制其行動。
與此同時，美中在先進晶片上的競爭仍是AI角力核心。美國自2022年起限制最先進AI晶片及相關設備出口中國，但近來開始關注中國企業是否利用海外資料中心租用先進運算能力。美國國會也在研究限制中國企業透過海外雲端服務取得美國晶片的方式。
雷蒙多表示，美國需要持續更新出口管制，包括防止中國透過全球資料中心遠端取得受管制運算能力，並堵住受管制技術遭轉運的漏洞。她也主張進一步限制中國取得先進半導體製造設備，並與荷蘭、日本及德國等主要設備生產國協調。
另一項爭議則是「模型蒸餾」。這項技術原本是AI產業常用方法，讓較小模型學習較大模型的輸出，以較低成本取得部分能力，但美國政府及部分AI企業指控，多家中國AI公司以大規模方式取得美國模型輸出，訓練自身模型。
雷蒙多引用Anthropic資料指出，該公司曾將超過1600萬次Claude互動歸入模型蒸餾活動，其中超過300萬次被認為與中國月之暗面及其他中國AI實驗室有關。中國則否認相關指控，並稱美方說法缺乏根據。
中國AI產業近年另一項明顯策略，是發展開放權重模型。深度求索、月之暗面等公司的模型可讓開發者下載、修改及自行部署，成本也相對較低。美國媒體CNN引述OpenRouter資料指出，中國AI模型在全球使用量占比過去一年從不到15%升至超過54%。
這種模式讓中國AI在新興市場具有吸引力。部分企業未必需要能力最強但價格昂貴的美國模型，而可能選擇成本較低、能自行部署的中國模型。這也使「誰贏得AI競賽」的定義更加複雜，因為模型性能、市占率、使用者數量及企業獲利可能得出不同結果。
不過，中國AI模式是否會長期維持高度開放仍有疑問。分析人士指出，隨著模型能力提高，北京可能對涉及網路攻擊等敏感能力的AI增加限制。中國可能同時維持開放及封閉兩種模式，依照國家安全需求決定不同模型的使用範圍。
在雙方缺乏互信的情況下，AI安全合作仍將十分有限。雷蒙多認為，美國不應盲目信任中國，但也不代表不能對話，而是應建立可以驗證協議是否遵守的機制。她以冷戰時期美蘇核武管制為例，指出兩國即使處於對立狀態，仍能透過長期對話及驗證制度降低風險。
對美中而言，未來可能較容易合作的領域，包括防止AI遭網路犯罪分子或恐怖組織利用，以及避免高能力模型被用來攻擊關鍵基礎設施或協助製造生物武器。部分安全專家甚至主張建立美中AI事件熱線，以防AI引發的網路事故被誤判為蓄意攻擊。