求助，国际化站后台日志显示很多404

xu6882611

& W% p- \5 D( ^. A
网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
5 K  n! F5 g  O/ u6 `) B* B包括分页页码链接也是完整URL。
+ z& h9 ]" a) B0 a
之前的链接是这样
2 F6 T" p0 S/ }1 b" B9 m0 ^首页https://example.com  
国际化 https://example.com/zh-cn  
( o7 R/ u) x: l9 \+ S' `+ h栏目https://example.com/food  
文章https://example.com/food/abc.html
3 f$ t3 d: i; w0 d, Z) \4 o9 ?; |
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
+ |* u4 b, ~9 b! j( n/ k! r/ g
发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
/ X4 _" C" Z, I& B" F首页https://example.com/
国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

$ g" t. o" A' b% f问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

' B3 X7 X* q) G5 e8 |程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
: s; @, u% R3 W- N( @
0 [# m1 A6 j* s, A5 n审视过好几遍了！
/ g. X: w$ t1 t6 A) i$ e
$ h9 v2 I4 g: {. O1 d比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
/ j/ u: `8 J/ }5 N  b8 G4 A
- [& o! W& g4 }/ T" o9 O/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
- B6 }" H2 t) a$ Y8 u% L4 @/zh-cn/food/abc.html  200