小网站的爬虫预算问题，内容量达到多少才算正常？

ensky

在Google Search Console(GSC)——>Setting->Crawl Stats会显示爬虫记录。


有没有注意过这个爬虫频率的？

在一个网站的内容量（发表的文章数量、产品数量）达到多少的时候，爬虫不会贴地运行？

这个图片是我的一个博客（发布的文章有102篇，收录页面有145，这没有贴过地，站比较正常）


这个站，文章+产品页总共30多，就有贴地现象。


大家有没有关注过自己的站，内容量达到多少的时候，爬虫会保持一个相对高频抓取？还得注意外链的影响。

一只老司机

关注 同样有这个问题

李小冲

感觉蜘蛛每天不爬个三四十万就不会考虑这个问题吧

大林

大佬你文章都自己写还是外包

ensky

李小冲 发表于 2022-9-20 13:41
感觉蜘蛛每天不爬个三四十万就不会考虑这个问题吧

您做的应该是内容站吧？我做的是2C外贸站，我们的站并不大，所以还是需要关注关注的。

ensky

大林 发表于 2022-9-20 15:10
大佬你文章都自己写还是外包

都有，也外包。