从0开始做个聚合站

兔子君 · 发表于 2015-9-4 21:55:03

matc 发表于 2015-9-3 08:48
正文采集你用beautifulsoup？效率太低了吧，我推荐你用一个python-readability库，用来做采集比beautifulso ...

要说效率最高肯定是RE，但是规则不容易写对，非常好使

兼顾性能和写代码效率 lxml 应该比较好吧

wjw_biter · 发表于 2015-9-5 08:16:04

做过一个这样的中文站，采集了十万多页面，百度收录1600多，谷歌收了300。一天200ip，貌似没有从百度来的流量。目前搞的sae定期采集，一直扔着不管了。貌似每天百度还有新的收录，不过pr已经从1降到0了

seanhere · 发表于 2015-9-5 08:38:00

BeautifulSoup写的规则特容易死掉，对异常的兼容不好；而且官方也说了，这个插件并不快，仅是使用起来方便。

James_Liu · 发表于 2015-9-5 10:30:12

今日收录的46页，全部都是tag页。正文页面一个都没有。

lyf208617 · 发表于 2015-9-5 10:31:17

然并卵，谷歌可以检测到你的跳出率的，这种毫无可读性的文章，跳出率基本100%，所以顶多开始给你一点点流量，很快就永久打入冷宫

James_Liu · 发表于 2015-9-6 10:00:03

主要收录的是Tag，其次是Category，正文目前收录了一篇。有1个来自美国的Organic访问，关键词不详。

matc · 发表于 2015-9-6 14:33:17

兔子君发表于 2015-9-4 21:55
要说效率最高肯定是RE，但是规则不容易写对，非常好使

兼顾性能和写代码效率 lxml 应该比较好吧 ...

我说的是人的效率，不是机器的效率。不用一个个网站去匹配，否则累死。

matc · 发表于 2015-9-6 14:34:32

阿百川发表于 2015-9-4 17:24
还是可以糊弄gg的，文章随机乱序+多站链轮，虽然死得快但流量上的也很快

https://www.google.com/search ...

过了新站效应就死，域名钱都无法收回。

阿百川 · 发表于 2015-9-6 18:13:51

matc 发表于 2015-9-6 14:34
过了新站效应就死，域名钱都无法收回。

应该还是赚钱的，域名已经换了N批，如果不赚钱早就不搞了

按照类似手法搞的几个英文站已经坚持两个月以上，日ip300-500

James_Liu · 发表于 2015-9-7 09:37:42

收录继续增加，依然主要是Tag和Category页，开始有一部分正文页被收录了。
修复程序中Tag分配不均匀的问题，补充少部分大人小说作为文章源。

James_Liu · 发表于 2015-9-8 09:18:11

说明：无

James_Liu · 发表于 2015-9-9 10:09:15

依然正常的收录和更新，没有什么特殊情况。今天上线中文版网站，昨天废了半天功夫才把程序改好，中文分句、分词真是费劲！

后期数据更新频率降低，不在一天一更新了。等到有明显异变了再更新。

cctv886 · 发表于 2015-9-9 14:59:39

好厉害，楼主加油

c21xdx · 发表于 2015-9-10 09:55:07

收录简单，关键是不来流量啊

左眼跳 · 发表于 2015-9-11 11:43:46

乱序不太靠谱吧 python有个结巴分词找个词库替换下关键词呗

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利广告开户	独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机	E.PN 虚拟卡	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值
Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	一手BM分享户不限额	9Proxy ⚡️ $0.04/IP, 无限带宽
FB二三解0.1元一个	虚拟卡\|PTM星际卡	FB专用虚拟卡	Google、Bing官方总代联盟流量开户
FB账号资源/稳定靠谱/运行5年啦	FB开户代投/三不限/白名单	fb耐用号0.01一个	fb账号官方合作商
搜索套利开户❤️Bigo/Kwai/Mediago	FB资源，账单户，分享户，国内一手	FB企业户BM户账单户源头	广告位出租

[SEO] 从0开始做个聚合站

点评

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

社区QQ达人