网站没有流量，爬虫的到是不少

cangheng · 发表于 2020-9-28 19:43:03

这么多爬虫

朝阳风雨 · 发表于 2020-9-28 20:05:36

你这个是防爬的吧？关注内容，不用关注太多这些东西吧

河小马 · 发表于 2020-9-28 21:04:15

建网站以后，很大一部分资源都给爬虫搞走了

我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写nginx 规则要简单和省事的多

河小马 · 发表于 2020-9-28 21:04:58

朝阳风雨发表于 2020-9-28 20:051 D L+ g5 `* j' y$ U
你这个是防爬的吧？关注内容，不用关注太多这些东西吧

还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。

没事的时候，设置一个access log。。。就能看到了

爬虫太狠了

朝阳风雨 · 发表于 2020-9-28 21:06:38

河小马发表于 2020-9-28 21:04
3 K3 e& @3 o( b; Y' t还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。6 q3 K: W( Z9 o% o8 F* ], d& |, [

' b( I- `9 |+ G$ r* L! G5 [1 i没事的时候，设置一个access log ...

偷懒用虚拟主机的我还是算了对我访问没有啥影响

河小马 · 发表于 2020-9-28 21:09:27

朝阳风雨发表于 2020-9-28 21:06
( B* d3 O3 `9 w, g偷懒用虚拟主机的我还是算了对我访问没有啥影响

虚拟主机，一般都直接屏蔽了

朝阳风雨 · 发表于 2020-9-28 21:13:42

河小马发表于 2020-9-28 21:09
) c$ l7 \* V$ S5 B9 [虚拟主机，一般都直接屏蔽了

那就省事快捷了

cangheng · 发表于 2020-9-29 08:55:25

河小马发表于 2020-9-28 21:04+ g3 X4 G4 k% d: D/ Y4 W
建网站以后，很大一部分资源都给爬虫搞走了
" M, `3 m- e: _+ N) ^
6 r7 e# `( g/ C( H a. H; x0 D我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

谢谢河马

d6mmsm71 · 发表于 2020-9-29 08:56:57

河小马发表于 2020-9-28 21:049 \9 p* {' ~; f8 ?6 d
还是需要的。。。。服务器的资源，绝大部分都给无量爬虫占据了。。。。/ p/ J' r' m8 o
4 \$ @1 G8 Y. G; m8 O
没事的时候，设置一个access log ...

这样就没有收录了，更不好

sead · 发表于 2020-9-29 09:05:14

强迫症表示，～* "(php|wget)" 不香么

sead · 发表于 2020-9-29 09:11:36

河小马发表于 2020-9-28 21:04# i! W5 }2 e! B- X& o/ d! P. z
建网站以后，很大一部分资源都给爬虫搞走了 v) ?5 c6 z5 A% L2 N+ t
9 N, ?/ g9 o2 H, B6 B" K4 G
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

要是爬内容的用谷歌的蜘蛛身份怎样破？防火墙怎样设置好点

d6mmsm71 · 发表于 2020-9-29 09:32:01

我才不搞这些花里胡哨的屏蔽爬虫，一不小心搞降权了就亏大了，配置不够就升级，有投入才有收入

luck · 发表于 2020-9-29 11:03:42

用的是VPS，不懂代码，网站内容也被能去不少，干着急，没办法。

加拿大华人 · 发表于 2020-9-29 11:52:23

河小马发表于 2020-9-28 21:04! c* h2 x5 q0 ^2 y: ^6 {: q8 f* E
建网站以后，很大一部分资源都给爬虫搞走了# J+ A" x9 X1 o \$ s4 V
/ z( n) c, F/ M. d" B& w
我一般都是在cloudflare 的firewall 那里直接屏蔽爬虫，比你写 ...

请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？

如果是免费的，可以知道下具体怎么操作么？

河小马 · 发表于 2020-9-29 16:09:42

加拿大华人发表于 2020-9-29 11:52/ E+ v0 \' c7 E) x1 a
请问cloudflare 的firewall ，这种功能是免费的还是PRO收费版本？+ f+ P$ z% [+ D

- ?: I0 q6 k% r& T% Z, B- o如果是免费的，可以知道下具体怎么操 ...

免费的

CF的文档写的很清楚，自己看下文档就好了

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	需要代理IP?⚡️Proxysites.ai⚡️	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
FB BM不限额，短id账单户	E.PN 虚拟卡	DuoPlus专注打造跨境电商云手机	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）
FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	9Proxy ⚡️ $0.04/IP, 无限带宽
IPCola原生住宅IP⚡️$2.1/条双ISP	Google、Bing官方总代联盟流量开户	fb耐用号0.01一个	fb账号官方合作商
FB资源，账单户，分享户，国内一手	FB企业户BM户账单户源头	PTM全球虚拟卡—进来交个朋友!	PTM虚拟卡⚡️费率透明⚡️额度随心
广告位出租

[吐槽] 网站没有流量，爬虫的到是不少

本帖子中包含更多资源

点评

点评

点评

点评

点评

点评

点评

点评

浏览过的版块

社区QQ达人