203.208.60.xx 谷歌蜘蛛，是“杀手级” IP段爬虫？

dhdz187

自从三月份光临 寒舍后，一发不可收拾，每天抓取5万次，此Ip段为国内的IP。

但谷歌流量稳定变为0，本来网站近半年最高峰12000，日均也有近5000（如今网站名也搜不到，因为首页被K了，内页收录却全在）
到目前未知除了这个ip段，别无其他谷歌蜘蛛来访问。

不知道有没有大佬碰到过这种情况，只有一个ip段的谷歌蜘蛛来抓取，而且抓取的很凶猛！

从网上得知这个ip段是当网站在谷歌表现不正常后才会来。

但真不知道为啥这次谷歌突然完全没有流量了，没有滥发链接，也没有服务器不稳定，如果有一个可能那就是DCMA投诉。

河小马

我的都是英文网站，目前没有看到这个IP段

但是对付DMCA 我比较有经验，我经常收到DMCA的信，是google webmaster 给发的

但是排名还是很稳定的
PS: 也有可能是我的站点比较老了

dhdz187

河小马 发表于 2020-5-27 11:26
我的都是英文网站，目前没有看到这个IP段

但是对付DMCA 我比较有经验，我经常收到DMCA的信，是google webm ...

嗯，我做的都是中文站，其他网站也没有来自这个ip段的谷歌蜘蛛。
这个IP段经查询属于北京谷翔信息技术有限公司，也就是谷歌的。
我怀疑这是一个特殊的ip段。

网上零星说法：这个ip段在网站谷歌表现不正常后会出现。
可是我翻看之前其他也被谷歌降权的站的日志，并没有这个ip段。

所以，这个ip段蜘蛛绝对是因为某种原因来临了。
只是，能获取到的公开信息不多。

暂时把这些ip段全屏蔽试试看，不知道会不会对谷歌收录造成影响。

河小马

dhdz187 发表于 2020-5-27 11:38
嗯，我做的都是中文站，其他网站也没有来自这个ip段的谷歌蜘蛛。
这个IP段经查询属于北京谷翔信息技术有 ...

通过看rDNS可以看出，应该是googlebot 的ip

感觉这个是google 用来收录国内网站用的蜘蛛ip

朝阳风雨

我的英文站也没有碰到。

网站不是采集站吧？
而且site的结果不是一下子减少的，是慢慢减少的。

ronse

英文站，搜索了一下谷歌爬虫的访问日志，没有203开头的ip的

dhdz187

河小马 发表于 2020-5-27 11:48
通过看rDNS可以看出，应该是googlebot 的ip

感觉这个是google 用来收录国内网站用的蜘蛛ip

应该不是，我做的都是中文站，其他网站也没有这个ip段（其他网站都是66.249.xx.xx）。
现在问题是，这个只有这个ip段的谷歌蜘蛛光临，其他ip段已经一个都没有了。

dhdz187

朝阳风雨 发表于 2020-5-27 11:50
我的英文站也没有碰到。

网站不是采集站吧？

不是采集的，site结果其实数量还在增加的，收录一直都是上升的。
只是2月-3月接到太多的DCMA投诉，首页和很多栏目页让谷歌清空了收录。
然后3月底就变成现在这样了。

内页收录都在，新页面继续在收录。

朝阳风雨

dhdz187 发表于 2020-5-27 11:54
不是采集的，site结果其实数量还在增加的，收录一直都是上升的。
只是2月-3月接到太多的DCMA投诉，首页和 ...

你这投诉得有多少啊？可以触发惩罚的标准

dhdz187

朝阳风雨 发表于 2020-5-27 11:57
你这投诉得有多少啊？可以触发惩罚的标准

半年内100多条吧（谷歌站长工具后台提示过的），从去年9月份开始，我想这点数量不至于让谷歌来惩罚，毕竟投诉的内容都已经被删除了索引。
但找不到其他原因来解释。

降权的网站也没有这个ip段访问，所以不存在降权蜘蛛一说。

朝阳风雨

dhdz187 发表于 2020-5-27 13:07
半年内100多条吧（谷歌站长工具后台提示过的），从去年9月份开始，我想这点数量不至于让谷歌来惩罚，毕竟 ...

嗯嗯，这种情况确实是没有碰到过。版权也是针对页面的，没有听说过会针对整站的。

dhdz187

把这个ip段屏蔽访问，同时换了服务器后，终于来了很多其他谷歌蜘蛛，只是排名依旧没有恢复