Patreon在robots.txt被无视后开始主动屏蔽AI爬虫
patreon从robots.txt请求转向通过cloudflare主动屏蔽，此前观察到每周数千次抓取尝试被无视，这标志着转向硬性执行以保护创作者收益。
Patreon 在检测到每周数千次的爬取尝试后，放弃了被动式 `robots.txt` 指令，转而通过 Cloudflare 的 AI 爬取控制技术进行主动拦截。这些尝试忽略了 Patreon 的请求。该平台严格禁止 AI 训练机器人，但明确允许有助于用户发现内容的索引机器人，区分驱动流量搜索引擎和数据采集训练。在 AI 代理激增的情况下，Patreon 的策略旨在为创作者提供对其作品的控制权，而不牺牲受众增长。