求助，国际化站后台日志显示很多404

xu6882611

- r% C% C: n' ~8 s( V9 C: H* d- D
网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
2 X/ d5 j; X% {% l包括分页页码链接也是完整URL。
/ A2 M/ Z/ F: Z, c$ y0 y
& e$ T! g! Y) R' @之前的链接是这样
首页https://example.com  
* l% b9 _. \/ [/ O国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html

) d# K% j) X* Q5 Z所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
/ u4 b* S& f9 C( r+ D# D1 C$ `
发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
0 Y" h" M2 @/ [/ v% y# m% a% `' {' {后改成
首页https://example.com/
4 R( `7 l3 J5 Y1 y国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
3 p  x9 R- e! \) x
& m& Q+ {: g9 ?& {" q& Z问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
" K' I! G3 i2 _看源码，原始代码，不是浏览器上的

6 z; q4 F3 G6 T: _7 W程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
$ b3 }  S- J' T# b
5 V8 O  k7 @) G* _审视过好几遍了！
  N9 k+ U5 P2 f
比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
. W4 q8 m; s4 n, }; U
* V. L5 J1 p  @8 |$ d. T: k$ |/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200