求助，国际化站后台日志显示很多404

xu6882611

# W9 b$ j- a) N$ O' {- |
2 g& z) _0 a! x2 v4 _) `' n网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。
5 t; `# v* n, r4 C5 z3 |8 C
+ `! @) n# S8 \) i3 G之前的链接是这样
首页https://example.com  
0 e. S' i7 p3 z7 n1 C/ {$ r. m国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
3 X4 |* c' P1 \( B- {首页https://example.com/
国际化https://example.com/zh-cn/
7 l. \% ?+ W$ ]  J. x: m4 X栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?
0 A9 p) Z, @8 X9 ]

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！
# `+ G% q7 _# j( s/ E
比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
, X" w0 I1 r7 ?% t0 `7 E* P
, e0 D+ {& L4 A- n5 K8 H/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
7 `0 B) y0 h3 ]2 h- _8 H2 z; ]/zh-cn/food/abc.html  200