近幾個月來，伊朗、中國以及以色列境內的某些組織以嶄新的方式使用人工智慧，在社群媒體上製造了一系列前所未有的影響力行動，這加劇了美國官員和安全研究人員對這項快速發展技術的擔憂。
了解這些行動的美國官員和安全研究人員表示，這些國家和組織結合了多種人工智慧戰術，以極少的人工干預將網路行動的速度和規模提升到了人類難以輕易達到的程度。
首先，這些國家和團體採用了中國的「開源」人工智慧模型，這些模型日益強大，並且可以免費下載和修改。然後，他們利用這些人工智慧模型創建了「智慧體」，即能夠自主運行軟體並完成任務的機器人。
官員和安全研究人員稱，一旦數以百計的此類人工智慧智慧體被放出，它們便會在Instagram、Facebook、X和TikTok等平台上自主開設假帳號網絡。隨後，這些智慧體迅速在假帳號中散布有關政治和時事的假貼文，左右輿論並激化問題。
未獲授權公開談論敏感問題而要求匿名的美國官員表示，這是由中國模型支援的人工智慧智慧體首次被用於處理影響力行動的每一個階段，從創建假帳號到協調其線上資訊的發布。他們還說，在大多數情況下，系統操作者關閉了通常會組織人工智慧模型創建假帳號或操縱線上討論的安全防護措施。
知情人士表示，這些基於智慧體的行動雖然粗糙，但引起了美國情報機構、大型科技公司和安全專家的注意。隨後，這些機構著手查明行動的幕後黑手及其方法，發現中國和伊朗的行動得到國家支持，兩起以色列的行動則被追溯至私人公司。
這些行動令人們擔憂，公開可用的人工智慧模型如何被用於實質上自主開展的網路影響力行動。一些美國官員表示，他們擔心，在11月中期選舉前，類似手段可能會被用來針對美國選民。
在過去的選舉週期中，俄羅斯、伊朗和中國都在不同程度上針對美國選民開展了網路影響力行動，而且每一個國家都至少使用了初級的人工智慧。一些美國官員和議員擔心，最近人工智慧的進步，可能會導致在美國乃至全球範圍內的選舉影響力行動更加頻繁，且更容易策劃實施。
喬治城大學安全與新興技術中心研究人工智慧和網路安全的研究員凱爾‧克萊頓（Kyle Clyburn）表示，隨著技術的不斷進步，由智慧體主導的運動可能會變得更加普遍。「智慧體可以變得相當複雜，因此，除了單純的規模優勢外，它們還具備融入環境、更像人類用戶的能力，」他說。
最近幾週，關於人工智慧安全的辯論不斷升級，其導火索是今年7月披露的一起事件：OpenAI人工智慧系統失控，入侵了初創公司Hugging Face。自那以來，包括Anthropic首席執行官達里奧‧阿莫迪（Dario Amodei）在內的人工智慧領軍人物呼籲放緩該技術的開發，以便能夠建立適當的防護機制。其他科技高管則表示無需放緩，並稱Anthropic是在試圖鞏固自己的力量。
在今年發布的報告中，TikTok和擁有Facebook及Instagram的Meta公司均表示，人工智慧正被用於在他們的平台上創建帳號和內容。在上個月的一份報告中，Meta表示，它已經觀察到，惡意行為者在嘗試使用人工智慧方面取得了「技術上重大的進展」。該公司確認了使用人工智慧的伊朗和以色列宣傳行動，但未提供詳細資訊。
Meta在其報告中指出，人工智慧現在已被「嵌入自動化系統中，這些系統幾乎無需人工干預即可生成、改編和分發內容」。
X沒有回應置評請求。
長期以來，人工智慧一直被用於製作具有誤導性的影片和文字，以及生成逼真的照片。但安全研究人員表示，這些基於智慧體的行動尤為引人注目。
布魯金斯學會的研究員凱爾‧陳（Kailai Chen）表示，由OpenAI等公司製造的智慧體以前曾被濫用過，包括早在2024年8月就曾被伊朗利用，但開放的人工智慧模型帶來了更高層次的自主性。與OpenAI和Anthropic等公司那些不公開底層代碼的封閉式人工智慧模型不同，開放式人工智慧模型可以在私有硬體上運行，這意味著沒有公司可以干預並關閉這些系統。
官員和安全研究人員指出，伊朗這場由國家支持的行動尤其令人擔憂。伊朗將目標鎖定在美國受眾身上，由人工智慧生成的假帳號冒充生活在大城市裡的普通美國人。知情人士稱，這些帳號在評論中標記記者和政治人士，傳播流行的網路迷因（meme），以及反共和黨的觀點。有近8萬人關注了這些由人工智慧創建的帳號，這些帳號在今年上半年表現活躍。
Axios先前曾報導過這個伊朗網絡的某些方面。
情報和安全官員並未提供有關中國行動的更多細節，只是說它嘗試了同樣的人工智慧策略。
據兩名知情人士透露，在追溯至以色列公司的兩起智慧體行動中，有一宗是在今年夏天由IntelEye發起的。IntelEye是一家總部位於特拉維夫的公司，由曾供職於間諜軟體公司NSO集團的員工於2023年創立，而NSO集團已被美國列入黑名單。
一位聽取了關於IntelEye行動簡報的美國安全官員表示，該公司的活動在今年早些時候引起了社群媒體公司和美國情報機構的注意。該行動使用了人工智慧智慧體，在Facebook、Instagram、TikTok和X上創建了數以千計的帳號；這些帳號對討論以色列下月全國選舉的貼文和評論做出了回覆。這位官員說，這些帳號還發布了既支持又反對以色列總理班傑明‧納坦雅胡（Benjamin Netanyahu）的內容。
IntelEye聯合創始人馬奧爾‧塞萊克（Maor Zeller）在接受採訪時表示，他的公司使用了中國開源人工智慧模型DeepSeek來控制各大社群媒體上數以千計的帳號，但他表示，這是一項旨在測試人工智慧模型安全性的實驗。
「IntelEye並不開展影響力行動，」塞萊克說。「我們使用DeepSeek進行的工作是為了開展防禦性研究和測試，以了解安全防護措施不足的模型會被如何濫用，並改進對這種活動的偵測。」
塞萊克先生說，IntelEye購買了1萬個社群媒體帳號供人工智慧智慧體控制；大約有1000個投入了運作。他說，這些帳號在影片或貼文下留言，並試圖讓人們參與對話，但收效甚微。他還說，人工智慧模型負責選擇這些帳號發布的提示語和話題。
他說，事後看來，IntelEye本應該告訴社群媒體公司它正在進行這些測試。
「這似乎是一次跨多個平台創建假帳號的協同行動，」Meta的一位發言人說。「這些帳號當中只有一小部分在我們的平台上，並且我們已經通過我們的自動偵測系統主動移除了其中的絕大部分。」
在上個月的報告中，Meta提到了由一家「總部位於以色列的商業營運機構」運行的另一項獨立行動。它沒有指出該公司的名字，也沒有提供其他資訊，但表示該行動採用了一種「相當複雜的架構」來運用人工智慧。