xw_1217 发表于 2023-3-17 18:38:04

有懂蜘蛛池的吗

感兴趣，有懂得说说这是什么原理吗

爬虫部落 发表于 2023-3-18 13:47:16

就是生成大量的内容和链接，让蜘蛛不断的去爬。高峰期每天1000W+ google蜘蛛，几台独服做负载均衡才抗住了

xw_1217 发表于 2023-3-21 01:02:22

爬虫部落 发表于 2023-3-18 13:47
就是生成大量的内容和链接，让蜘蛛不断的去爬。高峰期每天1000W+ google蜘蛛，几台独服做负载均衡才抗住了 ...

那成本就蛮高的噢

yrj 发表于 2023-3-23 23:38:10

xw_1217 发表于 2023-3-21 01:02
那成本就蛮高的噢

蜘蛛池成本高在域名，服务器都算小头。

bet365488 发表于 2023-6-9 15:49:25

老哥还在弄蜘蛛池吗
页: [1]
查看完整版本: 有懂蜘蛛池的吗