
在現有的技術和法規框架下,網站營運者若想阻止內容被收集,必須針對每一家公司的網路爬蟲單獨設定屏蔽規則。新方案的目標是建立一套統一的指令標準,所有參與該倡議的人工智能企業都將識別並遵守這一指令。不過,這一機制距離正式實施仍需數月時間。微軟表示將從2027年2月1日起支持該標準,谷歌將在2027年內實施,ChatGPT的開發商OpenAI則表示將在未來數月內逐步採用。Anthropic則表示,該公司「已經開始」落實這一機制。
這一聲明發布之際,媒體出版商正臨大量AI爬蟲的湧入,越來越多的媒體與科技企業產生法律糾紛。因為這些企業的AI模型會抓取新聞文章和網頁內容,用於訓練AI模型。比如,自2023年12月以來,《紐約時報》一直指控OpenAI和微軟未經許可、也未支付任何報酬,便使用網站上數百萬篇文章訓練ChatGPT。對此,這兩家公司回應稱其行為受到版權法中「合理使用」(fair use)例外條款的保護。目前,《紐約時報》已將相關問題提交法院審理。
微軟指出,新設定僅適用於未來模型訓練階段,而不影響內容存取本身。當網站未明確表達偏好時,預設仍允許抓取內容用於訓練。與此同時,微軟和谷歌均表示,網站是否啟用該設定,不會影響其在搜尋引擎中的收錄和排名。微軟還進一步推出了另一個選項,用於控制網頁內容是否可被Copilot等AI助手用於生成回答。不過,微軟同時警告,如果網站拒絕被這類AI助手引用,其線上曝光度可能會因此下降。
值得注意的是,Facebook的母公司Meta雖然對這項倡議表示歡迎,但並未明確說明是否會遵守這一統一指令標準。