bing的蜘蛛太狠了

河小马 · 发表于 2020-2-18 00:11:42

有一些站点是利用API 建成的。。。

bing的蜘蛛太狠了，爬的频率那个高啊，直接把API 服务商给我429了，使用频率太高。。。收录倒是狠壮观，就是不怎么来流量。。。

google bot 倒是狠温柔。。。但是收录的太少了。。。

哎

河小马 · 发表于 2020-2-18 01:05:15

刚学了一招，原来还有

crawl-delay 这个命令

billy · 发表于 2020-2-18 03:30:20

现在bing的反应也很快了，之前都是不收录，但是排名爬升的似乎很慢很慢。

河小马 · 发表于 2020-2-18 09:03:47

billy 发表于 2020-2-18 03:30
现在bing的反应也很快了，之前都是不收录，但是排名爬升的似乎很慢很慢。

bing收录很多

就是不来流量

朝阳风雨 · 发表于 2020-2-18 18:18:20

我的有时候莫名其妙来很多direct的流量，一天一千多ip的那种，看的我高兴，一看收入没有什么变化。然后几天后恢复正常。。。。

affiliateberry · 发表于 2020-2-19 10:46:41

我只允许google bot。。。

atongsheng · 发表于 2020-6-11 23:12:10

河小马发表于 2020-2-18 09:03
bing收录很多

就是不来流量

大佬，现在该如何去做SEO 。
网站没流量，去年发过很多博客，web2.0这类网站
就是半生不死。
头疼

shinebay · 发表于 2020-6-12 08:31:36

yandex bot才是真的猛，不过就是一顿爬行猛如虎，一看流量四或五

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利广告开户	独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机	E.PN 虚拟卡	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值
Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	一手BM分享户不限额	9Proxy ⚡️ $0.04/IP, 无限带宽
FB二三解0.1元一个	虚拟卡\|PTM星际卡	FB专用虚拟卡	Google、Bing官方总代联盟流量开户
FB账号资源/稳定靠谱/运行5年啦	FB开户代投/三不限/白名单	fb耐用号0.01一个	fb账号官方合作商
搜索套利开户❤️Bigo/Kwai/Mediago	FB资源，账单户，分享户，国内一手	FB企业户BM户账单户源头	广告位出租

[SEO] bing的蜘蛛太狠了

点评

点评

社区QQ达人