lujingbinsz 发表于 2018-10-19 19:15:27

关于外链过滤去重

刚开始做外链，用软件扒下来的外链几十上百万个，请教一下有什么软件可以过滤去重，谢谢各路大神！

best 发表于 2018-10-19 19:25:17

GScraper




.

billy 发表于 2018-10-19 20:27:46

excel...？

阿百川 发表于 2018-10-19 21:53:32

gawk 或 python

syoi489 发表于 2018-10-20 09:10:45

python，java都很容易

bluescharp 发表于 2018-10-20 09:46:21

数据量大只能分割去重。
现成的工具很多，小于100w用excel，大于100w专业工具用sb或gs，不专业用飞梭工具箱也可以
什么编码乱码深度分析，只能自己撸个python代码了
页: [1]
查看完整版本: 关于外链过滤去重