# X# R7 K2 I) z, X9 X. u* C5 N9 i 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。' e% z& R1 t; s8 C) [) a
% B+ ^3 }, P! f4 n$ D0 q( p. ^- E
1 Z/ \0 l S! D/ y" `$ I/ F2 i! Z; @3 {5 t( A
6 b0 I, H; H7 y2 R+ Q [2 { 今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。# ]# _0 H2 {; S
6 q% b& S+ s4 X2 I' U, f
8 U) I8 |, u3 L6 l" B然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?5 k. u; O5 l: E2 b. F. @- N
3 E3 s! P: g8 X4 t+ r
. L N7 E1 j0 f1 e6 C8 C
我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。8 P8 G* c( |5 X