科技 个股Cloudflare 宣布 2026 年 9 月起强制隔离 AI 训练与搜索爬虫

网络基础设施与安全巨头 Cloudflare 于 7 月 2 日向全球所有 AI 公司发出最后通牒，要求在 2026 年 9 月 15 日 前，必须将“搜索引擎”爬虫与“AI 训练数据/代理”爬虫的标识彻底分离。届时，任何混合用途的爬虫将被系统直接物理断网并全局拦截。

Cloudflare 处理着全球约 20% 的互联网流量，提供内容分发网络、域名系统及 DDoS 防护等底层服务。该公司指出，生成式 AI 破坏了互联网运行了 30 年的流量反哺机制。过去，搜索引擎爬虫抓取网站内容后，会通过展示链接为网站带来流量和广告收入。但现在，AI 大厂的爬虫扫荡网站内容用于模型训练，却几乎不给创作者任何流量回报。数据显示，OpenAI 的 GPTBot 爬取一个网站约 1500 次，仅能带来 1 次 点击引流；当谷歌搜索结果出现 AI 摘要时，用户点击搜索链接的概率暴跌至 8%。

Cloudflare 此次行动的核心靶点是混合用途爬虫。越来越多的 AI 爬虫被指伪造用户代理信息，伪装成搜索引擎爬虫以绕过 robots.txt 限制，无限制下载网页。根据 Cloudflare 的新规，自 2026 年 9 月 15 日起，新接入域名的安全策略将自动允许搜索类爬虫，默认拦截训练类和智能体类爬虫。对于拒不配合、继续使用混合爬虫的 AI 大厂，将面临 100% 的全盘拦截，连搜索功能也会被禁止。为执行这一政策，Cloudflare 将动用行为分析、AI 迷宫蜜罐技术以及网络机器人身份验证框架等手段。

此举对 谷歌 的冲击尤为显著。Cloudflare 直接点名，称某最大搜索引擎利用其垄断地位，让爬虫畅通无阻地抓取数据喂养其 AI 模型，导致其掌控的信息量是其他领先 AI 公司的 两倍 之多。9 月 15 日后，谷歌若不拆分其爬虫，将面临失去对全球 20% 网页索引能力的风险；若拆分，其 AI 模型则可能面临数据断供。

在发出封锁令的同时，Cloudflare 也正式推出了新的商业化机制 Monetization Gateway 和“按使用次数付费”模式。当 AI 在回答中引用了受 Cloudflare 保护的网站内容时，可通过技术手段判定并结算版权费，Cloudflare 从中抽取过路费。Cloudflare 首席执行官表示，未来每次访问网站获取信息可能只需支付几分之一美分，但这要求基础设施能支持每秒约 1000 万笔 的金融交易，未来需扩展至每秒 1 亿笔，规模远超现有 Visa 网络。这一趋势意味着 AI 模型的数据成本将陡增，高质量公开网页数据将变成付费资源，可能加速淘汰无力支付版权费的中小公司，同时也可能为创作者经济带来新的繁荣。