cangheng 发表于 2020-9-28 19:43:03

网站没有流量，爬虫的到是不少

这么多爬虫:Q

朝阳风雨 发表于 2020-9-28 20:05:36

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马 发表于 2020-9-28 21:04:15

建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马 发表于 2020-9-28 21:04:58

朝阳风雨 发表于 2020-9-28 20:05
你这个是防爬的吧？关注内容，不用关注太多这些东西吧
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

没事的时候，设置一个access log。。。就能看到了

爬虫太狠了

朝阳风雨 发表于 2020-9-28 21:06:38

河小马 发表于 2020-9-28 21:04
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

没事的时候，设置一个access log ...

偷懒用虚拟主机的我还是算了 对我访问没有啥影响:lol

河小马 发表于 2020-9-28 21:09:27

朝阳风雨 发表于 2020-9-28 21:06
偷懒用虚拟主机的我还是算了 对我访问没有啥影响

虚拟主机，一般都直接屏蔽了:lol

朝阳风雨 发表于 2020-9-28 21:13:42

河小马 发表于 2020-9-28 21:09
虚拟主机，一般都直接屏蔽了

那就省事快捷了:lol

cangheng 发表于 2020-9-29 08:55:25

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

谢谢 河马

d6mmsm71 发表于 2020-9-29 08:56:57

河小马 发表于 2020-9-28 21:04
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

没事的时候，设置一个access log ...

这样就没有收录了，更不好

sead 发表于 2020-9-29 09:05:14

强迫症表示， ～*"(php|wget)" 不香么:lol

sead 发表于 2020-9-29 09:11:36

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71 发表于 2020-9-29 09:32:01

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck 发表于 2020-9-29 11:03:42

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人 发表于 2020-9-29 11:52:23

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

如果是免费的，可以知道下具体怎么操作么？

河小马 发表于 2020-9-29 16:09:42

加拿大华人 发表于 2020-9-29 11:52
请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

如果是免费的，可以知道下具体怎么操 ...

免费的

CF的文档写的很清楚，自己看下文档就好了
页: [1] 2
查看完整版本: 网站没有流量，爬虫的到是不少