科技 個股Cloudflare 宣佈 2026 年 9 月起強制隔離 AI 訓練與搜索爬蟲

網絡基礎設施與安全巨頭 Cloudflare 於 7 月 2 日向全球所有 AI 公司發出最後通牒，要求在 2026 年 9 月 15 日 前，必須將“搜索引擎”爬蟲與“AI 訓練數據/代理”爬蟲的標識徹底分離。屆時，任何混合用途的爬蟲將被系統直接物理斷網並全局攔截。

Cloudflare 處理著全球約 20% 的互聯網流量，提供內容分發網絡、域名系統及 DDoS 防護等底層服務。該公司指出，生成式 AI 破壞了互聯網運行了 30 年的流量反哺機制。過去，搜索引擎爬蟲抓取網站內容後，會通過展示鏈接為網站帶來流量和廣告收入。但現在，AI 大廠的爬蟲掃蕩網站內容用於模型訓練，卻幾乎不給創作者任何流量回報。數據顯示，OpenAI 的 GPTBot 爬取一個網站約 1500 次，僅能帶來 1 次 點擊引流；當谷歌搜索結果出現 AI 摘要時，用戶點擊搜索鏈接的概率暴跌至 8%。

Cloudflare 此次行動的核心靶點是混合用途爬蟲。越來越多的 AI 爬蟲被指偽造用戶代理信息，偽裝成搜索引擎爬蟲以繞過 robots.txt 限制，無限制下載網頁。根據 Cloudflare 的新規，自 2026 年 9 月 15 日起，新接入域名的安全策略將自動允許搜索類爬蟲，默認攔截訓練類和智能體類爬蟲。對於拒不配合、繼續使用混合爬蟲的 AI 大廠，將面臨 100% 的全盤攔截，連搜索功能也會被禁止。為執行這一政策，Cloudflare 將動用行為分析、AI 迷宮蜜罐技術以及網絡機器人身份驗證框架等手段。

此舉對 谷歌 的衝擊尤為顯著。Cloudflare 直接點名，稱某最大搜索引擎利用其壟斷地位，讓爬蟲暢通無阻地抓取數據餵養其 AI 模型，導致其掌控的信息量是其他領先 AI 公司的 兩倍 之多。9 月 15 日後，谷歌若不拆分其爬蟲，將面臨失去對全球 20% 網頁索引能力的風險；若拆分，其 AI 模型則可能面臨數據斷供。

在發出封鎖令的同時，Cloudflare 也正式推出了新的商業化機制 Monetization Gateway 和“按使用次數付費”模式。當 AI 在回答中引用了受 Cloudflare 保護的網站內容時，可通過技術手段判定並結算版權費，Cloudflare 從中抽取過路費。Cloudflare 首席執行官表示，未來每次訪問網站獲取信息可能只需支付幾分之一美分，但這要求基礎設施能支持每秒約 1000 萬筆 的金融交易，未來需擴展至每秒 1 億筆，規模遠超現有 Visa 網絡。這一趨勢意味著 AI 模型的數據成本將陡增，高質量公開網頁數據將變成付費資源，可能加速淘汰無力支付版權費的中小公司，同時也可能為創作者經濟帶來新的繁榮。