英文站要放开哪些蜘蛛的抓取
我目前就允许google和bing，最近看国外论坛好像很多其他搜索引擎流量也挺大有没有查询主流搜索引擎流量占比的网站？
LZ的站点流量很大嘛？还需要封闭蜘蛛的流量？
一般来个黑名单制比较好，可以封掉下面的UA比较好
trendictionbot
SemrushBot
BLEXBot
node-fetch
Barkrowler
CheckHost
Python-urllib
MJ12bot
Go-http-client
Apache-HttpClient
opensiteexplorer
在nginx 或者cloudflare 层面做这个block 比较好
页:
[1]
