河小马 发表于 2020-2-18 00:11:42

bing的蜘蛛太狠了

有一些站点是利用API 建成的。。。

bing的蜘蛛太狠了，爬的频率那个高啊，直接把API 服务商给我429了，使用频率太高。。。收录倒是狠壮观，就是不怎么来流量。。。

google bot 倒是狠温柔。。。但是收录的太少了。。。

哎

河小马 发表于 2020-2-18 01:05:15

刚学了一招，原来还有

crawl-delay 这个命令

billy 发表于 2020-2-18 03:30:20

现在bing的反应也很快了，之前都是不收录，但是排名爬升的似乎很慢很慢。

河小马 发表于 2020-2-18 09:03:47

billy 发表于 2020-2-18 03:30
现在bing的反应也很快了，之前都是不收录，但是排名爬升的似乎很慢很慢。

bing收录很多

就是不来流量:lol

朝阳风雨 发表于 2020-2-18 18:18:20

我的有时候莫名其妙来很多direct的流量，一天一千多ip的那种，看的我高兴，一看收入没有什么变化。然后几天后恢复正常。。。。

affiliateberry 发表于 2020-2-19 10:46:41

我只允许google bot。。。

atongsheng 发表于 2020-6-11 23:12:10

河小马 发表于 2020-2-18 09:03
bing收录很多

就是不来流量

大佬，现在该如何去做SEO 。
网站没流量，去年发过很多博客，web2.0这类网站
就是半生不死。
头疼:'(

shinebay 发表于 2020-6-12 08:31:36

yandex bot才是真的猛，不过就是一顿爬行猛如虎，一看流量四或五
页: [1]
查看完整版本: bing的蜘蛛太狠了