我有三个站点在同一个服务器上，有两个ip，其中一个站点加了SSL证书，也就是https
3 `" w1 Q4 F5 N. q
# t$ |; g, ^% Z j+ l! p: @! f人工访问的时候，一切都是正常的。
7 W' f5 i I/ e, G+ Z4 }! D/ Z
+ D0 z( ]& O u0 S) F, n8 K在google和bing的搜索结果中，其他两个没有加ssl证书的网站搜索结果里面，很多加了ssl的内容，但是域名还是他们自己的。, C9 z- e% R- V1 n; s
/ [- P3 u* s' Q- X* }2 |1 x. o
比如站点A是加了SSL的，B，C没有加。在site:B.com和site:C.com的结果中，很多内容是来自A的，但是域名是B和C自己的，而且前面加了https) Z7 Y! U- Q* K5 c& V. Q
7 Q1 _& P- s# x8 E/ `
这个问题困扰我很久了，一切不知道怎么解决。问了digicert，他们否认是证书引起的。
3 Q, W7 e2 I5 c; Y7 k: E1 F4 O
' Y N: o# L/ g" E: S1 a& H一直没搞懂，为什么爬虫在爬B和C时，要去抓取A的内容。* `! |4 W' n- c, f' ?
4 q P/ c0 D' |* {& U3 W大神给的建议吧，多谢4 H7 f% I# m2 m: C" o
) R4 R9 S+ P2 I; F. `5 k- O, i% i, b4 c
2 @) k0 Q5 g8 b" z+ i0 Q |
发表于 2019-4-2 11:08:33
发表于 2019-4-8 13:20:58
楼主
发表于 2019-4-11 16:08:16