( h7 I3 i4 X; H R5 u3 k; n # u" Y1 d- c! E9 d 今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。 ) V% s" ?8 q# E% S& X! b: S# J: F8 o, f# h" K
1 o7 @1 e7 L' j4 c
然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?# K4 i0 V+ f P. t B0 u
; z$ u0 N9 d+ k: v+ {5 v% ]2 w1 l$ v6 |
我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。) `/ P8 z. o. j+ y