Cloudflare 发布默认屏蔽混合爬虫政策

先了解这件事

Cloudflare宣布，自2026年9月15日起，其默认设置将屏蔽同时用于搜索、AI智能体及训练的“混合用途”爬虫访问托管广告的页面，除非站点所有者手动调整。此举旨在保护出版商内容不被无偿使用。同时将原有的“Pay Per Crawl”模式升级为“Pay Per Use”，允许出版商在内容创造价值时向AI公司收费，初期合作方为Ceramic.ai和You.com。Cloudflare数据显示，AI爬虫超过50%的抓取流量浪费在重复获取未变更页面上。新政策适用于新客户、现有客户的新站点及所有现有免费客户。