gresh 发表于 2016-4-1 11:13:23

现在采集用什么软件?

WordPress博客,想手动采集一部分,文字、图片、链接之类的,采集好之后直接发布,有什么采集软件或者采集脚本吗?
wprobot这个玩意儿好不好用?

yinliang 发表于 2016-4-1 11:33:24

火车头   

gresh 发表于 2016-4-1 11:44:12

yinliang 发表于 2016-4-1 11:33
火车头

谢谢回复!
火车头是不是必须要买收费版本的?
另外火车头可以直接写到WordPress数据库吗?

yinliang 发表于 2016-4-1 11:47:14

gresh 发表于 2016-4-1 11:44
谢谢回复!
火车头是不是必须要买收费版本的?
另外火车头可以直接写到WordPress数据库吗?


有破解版本的,另外,写数据库,这个是我自己写的脚本,你看有没有其它方法

gresh 发表于 2016-4-1 12:52:26

yinliang 发表于 2016-4-1 11:47
有破解版本的,另外,写数据库,这个是我自己写的脚本,你看有没有其它方法 ...

自己写!太厉害了,不知道这个脚本网上有没有什么教程,或者如何编写的资料可以参考?

阿百川 发表于 2016-4-1 13:16:04

gresh 发表于 2016-4-1 12:52
自己写!太厉害了,不知道这个脚本网上有没有什么教程,或者如何编写的资料可以参考? ...

可以参考火车头的wp免登陆接口,调用wp自身的发布函数,效率很高

gresh 发表于 2016-4-1 14:32:54

阿百川 发表于 2016-4-1 13:16
可以参考火车头的wp免登陆接口,调用wp自身的发布函数,效率很高

非常感谢,我去找一下

妖妖 发表于 2016-4-1 17:06:28

gresh 发表于 2016-4-1 14:32
非常感谢,我去找一下

淘宝上几块钱就能解决
火车头是无论如何得学会使用的,学会火车头其他任何采集软件基本手到擒拿!

kc0203 发表于 2016-4-1 19:20:38

wordpress发布模块
在網上求的,沒測試能否使用
http://pan.baidu.com/s/1ge6Bg8j

gresh 发表于 2016-4-1 20:58:04

kc0203 发表于 2016-4-1 19:20
wordpress发布模块
在網上求的,沒測試能否使用
http://pan.baidu.com/s/1ge6Bg8j

非常感谢,我在火车头论坛也看到很多插件,我先试试看!

myfamile 发表于 2016-5-3 16:43:52

看自身需求,火车头有能采集的,也有不能采集的,还需要自己写规则,必然要懂点程序,不会的话,可以试试八爪鱼,话说都是收费的。

dersu 发表于 2016-5-3 17:22:28

我这边公司主业之一是帮人抓数据,我并不是要在这推广我们公司业务,只是提点小建议:
1. 简单网站的话,用火车头八爪鱼之类的,比较好。简单不简单的判断在于,页面数量,是否更新频率非常高,是否需要分布式抓取,是否ajax网站,对方反爬机制是否很强大。比如说,你打算抓点新闻或者一些博客这种量级的需求,那桌面小软件还是可以的。
2. 火车头的好处并不是抓取本身,而是有很多的再发布模块可用,这个确实很省事。如果不考虑发布模块,那其实很多免费的软件可用,包括一些是全可视化操作的,非常方便
3. 如果你需要抓取的源网站逻辑比较复杂,而且你的时间成本还比较高的话,那你还是上淘宝找个人帮你做好火车头的规则把,如你时间成本高,那性价比还是不错的
4. 对于那些逻辑复杂且极强反爬策略的,那还是考虑换个数据源把,自己做,花大量时间还不见得能成功抓取,如果找别人抓取,那成本也不低
页: [1]
查看完整版本: 现在采集用什么软件?