AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️最干净<Wifi住宅+5G移动>IP代理指纹浏览器,就用AdsPower
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利广告开户独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机E.PN 虚拟卡BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量百度国际MediaGo,独家原生流量
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户一手BM分享户不限额9Proxy ⚡️ $0.04/IP, 无限带宽
FB二三解0.1元一个虚拟卡|PTM星际卡FB专用虚拟卡Google、Bing官方总代  联盟流量开户
FB账号资源/稳定靠谱/运行5年啦FB开户代投/三不限/白名单广告位出租 
查看: 26272|回复: 6

[讨论] 关于采集碰到cloudflare的403错误

[复制链接]

47

主题

734

广告币

985

积分

中级会员

Rank: 3Rank: 3

积分
985
发表于 2021-6-29 10:19:08 | 显示全部楼层 |阅读模式
本帖最后由 大西瓜 于 2021-6-29 10:22 编辑
/ k+ a3 j- }' s, e, @# R( e7 `$ }/ k# u( O0 N
之前一套采集规则可以正常运行,对方站点也套了cloudflare,但只需要把登陆过的cookies放进去就可以了。前段时间不行了,采集不到。用浏览器可以正常打开网页,但是用curl采集的时候,怎么样都会提示403错误,要输入验证码。请问这个是对方使用了WAF或者防爬虫的规则吗。这种情况,一般能解决吗~?
4 V- @" T: y" a2 F' U4 q: t8 g
相关帖子
回复

使用道具 举报

36

主题

976

广告币

1732

积分

高级会员

Rank: 4

积分
1732

社区QQ达人

发表于 2021-6-29 10:56:23 | 显示全部楼层
你还能突破cloudflare的防火墙不成
( z. ~- M! F) L* U$ b想起他办法吧,比如换ip什么的
回复 支持 反对

使用道具 举报

1616

主题

2万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
29607

社区QQ达人

发表于 2021-6-29 13:26:59 | 显示全部楼层
做为一个长期的CF付费用户,我觉得他是屏蔽了一些user agent' d, P4 `0 \5 N& M. Q! }, `) @

( g& c4 D3 F# c5 }# q应该不是IP的问题
6 S/ q5 T+ t4 @9 z: v- q2 m- O! w( w  [* x6 g. n* w, M
你试试轮换user agent

点评

我用的就是自己浏览器的user agent,自己浏览器能正常访问的,也没有5秒验证。换了也没啥用。更改过这个agent,ip,判断不是简单的user agent问题。也不是Ip问题。这些我在不同国家的服务器都测试过。怀疑对方用了企  详情 回复 发表于 2021-6-29 14:20
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

47

主题

734

广告币

985

积分

中级会员

Rank: 3Rank: 3

积分
985
 楼主| 发表于 2021-6-29 14:20:09 | 显示全部楼层
本帖最后由 大西瓜 于 2021-6-29 14:29 编辑
' R6 A4 O. ~: R
河小马 发表于 2021-6-29 13:26
7 p1 {3 E' b) l8 |$ D" y$ o做为一个长期的CF付费用户,我觉得他是屏蔽了一些user agent  |' T" c- X1 l

+ a& j- ]( S! K6 Z/ w应该不是IP的问题

/ }5 ]( K. o  B7 l5 o: B5 M' Z5 j我用的就是自己浏览器的user agent,自己浏览器能正常访问的,也没有5秒验证。换了也没啥用。更改过这个agent,ip,判断不是简单的user agent问题。也不是Ip问题。这些我在不同国家的服务器都测试过。在想会不会对方启用了br压缩。我用chrome浏览器能直接打开。用IE9打开就会弹出验证码界面(还显示不出来那种)Please stand by, while we are checking your browser...

点评

CF 后台的WAF 限制里面,没有br压缩这个判断的选项 选项其实都挺简单的,你就只能一个一个的试 我自己一般是限制user agent 和 ASN  详情 回复 发表于 2021-6-29 15:57
回复 支持 反对

使用道具 举报

1616

主题

2万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
29607

社区QQ达人

发表于 2021-6-29 15:57:03 | 显示全部楼层
大西瓜 发表于 2021-6-29 14:20
/ G0 W6 l% Q/ _1 g. t8 X我用的就是自己浏览器的user agent,自己浏览器能正常访问的,也没有5秒验证。换了也没啥用。更改过这个ag ...

- o7 J6 N0 s0 I1 n8 b- dCF 后台的WAF 限制里面,没有br压缩这个判断的选项0 H$ N+ ]: M2 J8 ~
9 V1 n  _' c9 B- w+ Y
选项其实都挺简单的,你就只能一个一个的试8 e3 t$ L5 k, _% C2 Q) F2 I" T) M$ E

3 n# P  `5 |& w$ G2 h我自己一般是限制user agent 和 ASN
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

94

主题

2076

广告币

2954

积分

高级会员

Rank: 4

积分
2954

社区QQ达人

发表于 2022-10-17 15:20:52 | 显示全部楼层
本帖最后由 sead 于 2022-10-17 15:24 编辑
0 v- O# Z, M, q7 M5 Z: A7 F& h+ l& b3 z% J' q2 k/ U- e# C" N
之前用火车头碰到CF的特定规则会熄火,要专门写脚本转发后再采。" }# _3 F* F- ?9 |' I' @& l) t
https://stackoverflow.com/questi ... ile-urllib-does-not  q, p$ f: g7 k3 Z: T* B
CF对浏览器的访问特征做了锁定
回复 支持 反对

使用道具 举报

144

主题

2339

广告币

3967

积分

金牌会员

Rank: 6Rank: 6

积分
3967
发表于 2022-10-17 16:03:02 | 显示全部楼层
还真遇到过这个问题,直接访问没有问题,用PHP采集就有出白页。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2024-11-15 02:07 , Processed in 0.046978 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表