网站没有流量，爬虫的到是不少

cangheng

这么多爬虫

朝阳风雨

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马

建网站以后，很大一部分资源都给爬虫搞走了

( C6 Y* x9 Z$ K8 S5 i我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马

朝阳风雨 发表于 2020-9-28 20:05
/ Y+ e/ w" b5 i" m$ G% {$ i! D你这个是防爬的吧？关注内容，不用关注太多这些东西吧

) Y3 }! w1 Y& }& H9 B7 v3 z% f还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
* Z$ Z" o' y# L5 b9 M, E
1 `" n$ `& c  h+ B5 z6 o没事的时候，设置一个access log。。。就能看到了
4 M' q, J; s3 I, [7 q
1 J; @  k8 ~" D7 O3 O# K爬虫太狠了

朝阳风雨

河小马 发表于 2020-9-28 21:04
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
- N) {$ i, b' [& m2 a) l- s
5 r) U/ Z' Y% \  v4 E( W没事的时候，设置一个access log ...

偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

河小马

朝阳风雨 发表于 2020-9-28 21:06
偷懒用虚拟主机的我  还是算了 对我访问没有啥影响

: |- E1 e& B! d  l/ {! F虚拟主机，一般都直接屏蔽了

朝阳风雨

河小马 发表于 2020-9-28 21:09
0 Z* E/ w& j6 O3 D虚拟主机，一般都直接屏蔽了

那就省事快捷了

cangheng

河小马 发表于 2020-9-28 21:04
建网站以后，很大一部分资源都给爬虫搞走了
$ B/ y7 o, A; w" e3 A, P
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

谢谢 河马

d6mmsm71

河小马 发表于 2020-9-28 21:04
2 D6 a' ?* g( Q7 ^, j2 B) [还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。
  A' ?9 T* \& p# Y1 M8 V8 i9 U
4 }& w$ D* z! m1 ?' t; s9 t4 _: a没事的时候，设置一个access log ...

这样就没有收录了，更不好

sead

强迫症表示， ～*  "(php|wget)" 不香么

sead

河小马 发表于 2020-9-28 21:04
0 D4 f$ a( b9 Q6 X4 ]建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人

河小马 发表于 2020-9-28 21:04
! s  g# u. K( T$ p建网站以后，很大一部分资源都给爬虫搞走了

/ u3 }  Y/ J. F0 _- A. D- c我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

' S& H# M8 ^4 T9 T5 t, G. ^+ X; i- P请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
- _7 K$ f' `/ U
如果是免费的，可以知道下具体怎么操作么？

河小马

加拿大华人 发表于 2020-9-29 11:52
" d4 [7 v& G$ \" Z请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？
" }. F' U& \% h* J# k4 @5 _
如果是免费的，可以知道下具体怎么操 ...

; [2 y6 _* d* y7 o$ T% z免费的

4 [1 a+ c" Z, @CF的文档写的很清楚，自己看下文档就好了