求助，国际化站后台日志显示很多404

xu6882611

! T$ t$ c3 R3 C* W3 [8 k5 q
网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。

之前的链接是这样
首页https://example.com  
国际化 https://example.com/zh-cn  
$ b: p  r; k; ^栏目https://example.com/food  
0 Q0 U& L, U- @) O+ W8 ]9 s文章https://example.com/food/abc.html
* ?  k) p8 d1 J/ E8 C! t0 l, i: I
6 e: ^5 A% B1 j9 `! V% G4 B所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
首页https://example.com/
" x$ r% i; K- g国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

" R1 o* g6 D  H问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
7 t0 f" c* @; n) X* G6 k
审视过好几遍了！
% J- ~# m3 D9 t6 T8 }
比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
5 w# Z0 h: l3 T5 w9 |" o  s# P* s
/zh-cn/zh-tw/food/abc.html  404
& N5 i0 B/ L$ Q5 D/zh-tw/food/abc.html  200
  L2 C3 x( y6 X1 ]; }+ N4 ?/zh-cn/food/abc.html  200