网络服务提供商 Cloudflare 宣布即日起为所有网站 (包括免费托管的网站) 带来 AI 审计功能，该功能目前处于测试阶段，可以分析 AI 公司的爬虫和抓爬数据。) Z- b5 B% b0 c' u) B+ w+ i" c. ~
( j7 h% g! C) s9 g0 F2 G; f' l# K新的 AI 审计工具 (Cloudflare AI Audit) 主要提供 AI 公司的爬虫何时到网站来抓取数据、抓取的数据地址、抓取频次以及其他分析数据。0 f2 S$ H8 J/ }8 N: \
7 C8 G! J; l$ A) i5 u内容创作者和网站管理员可以借助 AI 审计功能轻松检查自己的内容被哪些 AI 公司白嫖了，如果被白嫖难受的话，也可以直接一键禁止抓取。. b; m- e% I. v R5 ?$ | ?: u
2 u1 C; w% _9 o* y) V- P. B5 [其中 AI 审计工具中的禁止抓取与 Cloudflare 已经提供的一键禁止所有 AI 爬虫抓取不同，在 AI 审计工具中网站管理员可以分门别类的进行审计和屏蔽。 ) L0 B) f3 J: P u2 i& [: ]' m/ n J% B; B7 k- c
举个例子：如果网站已经与 OpenAI 达成协议允许其抓取内容，则网站管理员可以放行 GPTBot 爬虫，而其他认识的、不认识的、白嫖的爬虫可以全部屏蔽。1 |9 G' B; ^/ E9 L- O- j" x
发表于 2024-9-24 14:56:24
发表于 2024-9-24 15:02:54
发表于 2024-9-25 21:00:54