河小马 发表于 2020-9-29 16:12:24

sead 发表于 2020-9-29 09:11
要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

CF的防火墙，自动默认允许世界知名的搜索引擎的蜘蛛
页: 1 [2]
查看完整版本: 网站没有流量，爬虫的到是不少