新手做的采集站，求大神指点

kongkong0926

billwong 发表于 2020-10-16 09:29
一天8万不算多吧

理论上说一天8万不算多，但是你实际计算一下，1秒钟采集一篇文章再发表到自己的网站上面。得多少服务器来做采集？得准备多少采集源?

kongkong0926

billwong 发表于 2020-10-16 09:25
额，因为我没有保存图片到本地，所以我忽略了图片特别占空间这一点。

说下我目前图片的处理方案：

我第一次做采集，没有考虑图片特别消耗硬盘，所以没有做特别大量的采集。

还有一个就是采集源的问题。我是特别找了一些看起来文章质量相对好一点的网站做采集，但是这种网站每天也更新不了多少篇新内容，而且大部分都是抄别人的。

今日头条只采集了几天，之后就采集不下来。
百度百家号倒是可以采集，但是不敢采集太频繁，如果封了ip的话就没办法持续采集。

你是什么内容都采集吗？
我是选了一个行业的词采集的试一试。但是来流量的都是没什么价值的垃圾词。

quanchengxue

kongkong0926 发表于 2020-10-16 12:21
理论上说一天8万不算多，但是你实际计算一下，1秒钟采集一篇文章再发表到自己的网站上面。得多少服务器来 ...

采集站也不全是先采集，再发布，再等Google收录这种模式的。几百K的小程序，放上几百万个关键词，蜘蛛爬多快就发多快，我的月付10刀的小VPS都能做到每秒爬3个URL，而且服务器占用率还很低。

billwong

kongkong0926 发表于 2020-10-16 12:30
我第一次做采集，没有考虑图片特别消耗硬盘，所以没有做特别大量的采集。

还有一个就是采集源的问题。我 ...

采集源的话，多试吧，各种情况都试试。

本身采集站就是垃圾站，也别想有什么价值

kongkong0926

quanchengxue 发表于 2020-10-16 14:17
采集站也不全是先采集，再发布，再等Google收录这种模式的。几百K的小程序，放上几百万个关键词，蜘蛛爬 ...

感谢分享。这种模式确实不了解。

x163326

半年起来了，也算很不错了

xiaoke

6666666666666