求助，国际化站后台日志显示很多404

xu6882611

网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
% S# C; ?' P6 N' l包括分页页码链接也是完整URL。
/ s# x6 }. m& V. W3 U
之前的链接是这样
首页https://example.com  
国际化 https://example.com/zh-cn  
) p2 G8 `% I+ B; i- s$ x栏目https://example.com/food  
文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
) x1 n. v! l$ u7 \& X) {) U: `后改成
首页https://example.com/
国际化https://example.com/zh-cn/
' E5 }' Q  B. N栏目改成https://example.com/food/    https://example.com/zh-cn/food/
( e/ ]& u5 D/ B文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

4 }; ], S/ G4 \9 }! V; y问题依旧,大量404是否影响SEO?
0 b& Q( k( V2 k0 N$ ?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
* \) V0 W9 V! E% g
- ^  M9 I$ k# f$ L4 Y' \, F审视过好几遍了！
4 t- h- M1 q3 j
/ a: J( L3 y: y; @2 z. e4 [比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

" D* ]; z9 Y! N4 \% [! k/zh-cn/zh-tw/food/abc.html  404
6 ~8 m: Z) O' Z0 q/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200