求助，国际化站后台日志显示很多404

xu6882611

, T- |9 B# t* s5 b; [- r0 x6 P网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
1 v/ @- ^. X  S! b0 A9 t4 N: X包括分页页码链接也是完整URL。
5 C4 W* Z& \8 R4 t5 q
( h+ Q; i( V% {: H/ A  c之前的链接是这样
首页https://example.com  
$ Y2 l* L9 _& C; G4 G' X国际化 https://example.com/zh-cn  
* n" t6 s" ^" S栏目https://example.com/food  
文章https://example.com/food/abc.html

' i5 g* Y1 S/ P% N8 D$ u7 ^所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
" w( ?* z) Z/ U9 `/ I- |, c后改成
首页https://example.com/
国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
9 I$ ]2 Y6 M% @+ S6 Z& j, S' y文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

- i' W" u: a/ s% ?( t; B* D6 O问题依旧,大量404是否影响SEO?
! K9 |. d& ]. x* k& o

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
  _) X) Z7 e: }) ^# M看源码，原始代码，不是浏览器上的

. Y& w& K' h4 h& q; k, a$ X程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！
) ~6 Y8 X& R( G5 c
比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

0 u- H$ o1 h5 i0 D+ S/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
+ x0 I$ Z5 Q# f- D/zh-cn/food/abc.html  200