|
本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑 * V5 m* s6 o8 P7 H
, M8 a' I3 a$ O) L- A 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。8 m7 S, F4 {* a( X
( h& L& e! ^7 K% J5 y5 j+ ]
% a) l+ f5 b* M7 g" l i
8 S/ D' e7 m' J
7 ^0 U8 ~, O m% H
今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。
& p$ o+ T7 j% [9 q0 Z, V0 G6 D4 u: ~
8 i( t0 c L( Z2 {然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?
% R0 e1 ]3 \8 c# W" f
# S$ U" {) x u2 N0 C/ c7 E' Z& k/ |8 @& y6 R5 C, C
我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。) t4 ?4 h2 f5 M* }+ G& l
- User-agent: *
4 A# q# }1 |4 L% u2 ~- w% J - Disallow: /wp-admin/
7 S b6 V( f6 K K) B; D - Allow: /wp-admin/admin-ajax.php
- D$ v9 Q3 Y( @2 z# v1 ]2 w
$ d* h% ~$ p, V+ L1 x4 k) k7 H) x- Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。
; F" ?6 y6 H4 k) z2 P$ V$ o4 o! d3 J
; K+ v1 G4 b* Q7 f- Y我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。2 r9 G" r5 i# N# @
( f( h. v, p" q; j1 O9 n9 ^
已找到原因,CDN引起的,但是具体问题还在排查。。。
7 y( v0 T& G3 c& u( [( n/ E' j1 S' C+ x/ C
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|