|
本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑
9 Y% w9 [% a' P- u, [: D1 d; x. z# s
+ }3 N4 I1 [" D% E8 a1 k 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。2 j/ Q9 x; h- v2 ^9 z5 \4 t
9 x) Q5 E0 ~7 l7 I/ S
7 o8 M s4 D, e A, \3 [: V; ~% |+ p* m, |! T( n4 f3 _7 x& n0 m
6 [% T7 R# f+ S9 k# b/ ` 今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。' U1 Q) h& q3 [) [
. _8 W: t* r, ^0 y9 D9 ?# \% B7 P* x# e: Z6 C' y9 B- q& B
然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?
7 y& V* |7 C& N, Q& y6 ]7 F4 X8 S
3 F. E* l( t1 J( K- R# I$ X6 U我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。
0 u' H1 G. K0 D3 y6 G$ R" z- User-agent: *3 l7 V9 x+ r8 Y- c' R
- Disallow: /wp-admin/: N; X! y v: l4 K! K" r9 J
- Allow: /wp-admin/admin-ajax.php
% ^7 q1 Y3 u) D
& L. ^0 m( S0 Z' ?0 {$ R3 Q- Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。* M0 e. i8 j, `6 U$ H
$ X& C) C/ t I+ l我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。) [' R8 }- d6 L
3 O; Y2 _$ m- m0 ?& \1 d已找到原因,CDN引起的,但是具体问题还在排查。。。
3 R4 L$ \+ T. _5 ]; _& N
( g+ q7 j) K. F8 {% o: I e% D |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|