网站没有流量，爬虫的到是不少

cangheng

这么多爬虫

朝阳风雨

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马

建网站以后，很大一部分资源都给爬虫搞走了
2 |- M9 P& k& F% @# ~8 u
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马

朝阳风雨 发表于 2020-9-28 20:05
你这个是防爬的吧？关注内容，不用关注太多这些东西吧

还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

7 S( Z# q: X' }  |, J. n没事的时候，设置一个access log。。。就能看到了
4 ^6 S# ~8 |0 Z% o  S* \$ G5 D/ h
爬虫太狠了

朝阳风雨

河小马 发表于 2020-9-28 21:04
. ?( a7 r# T- j' q# m* |' ?还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
( \; z# @, D1 \$ Y3 E: r* `
没事的时候，设置一个access log ...

) a% L" k: u: R" z9 s偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

河小马

朝阳风雨 发表于 2020-9-28 21:06
( K6 n$ @7 ~( `" j- k/ U3 G偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

虚拟主机，一般都直接屏蔽了

朝阳风雨

河小马 发表于 2020-9-28 21:09
虚拟主机，一般都直接屏蔽了

那就省事快捷了

cangheng

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了

% m7 W8 y8 Y- @1 a( R+ e$ ?' G我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

* ]3 Q1 c' s. ]3 y" A$ G谢谢 河马

d6mmsm71

河小马 发表于 2020-9-28 21:04
0 [3 v5 A4 q: S# i# s. ^! o还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

没事的时候，设置一个access log ...

1 K+ M! s! e: W: o# p这样就没有收录了，更不好

sead

强迫症表示， ～*  "(php|wget)" 不香么

sead

河小马 发表于 2020-9-28 21:04
  P4 w* x' f' w6 f4 u建网站以后，很大一部分资源都给爬虫搞走了

( t, G8 [3 b, H. f我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了
9 e1 A2 U6 |- d) C4 s
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

3 f+ G/ E  E6 x  o6 W' S, E7 }请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

0 q; j. j6 k" y/ U& c/ M如果是免费的，可以知道下具体怎么操作么？

河小马

加拿大华人 发表于 2020-9-29 11:52
请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
2 ]9 W: S: r! y/ f7 U9 P
6 K- j+ }" d( Y: A: t% J如果是免费的，可以知道下具体怎么操 ...

免费的
+ E. u$ g  L3 ^" e; b( e) f
CF的文档写的很清楚，自己看下文档就好了