关于外链过滤去重

lujingbinsz · 发表于 2018-10-19 19:15:27

刚开始做外链，用软件扒下来的外链几十上百万个，请教一下有什么软件可以过滤去重，谢谢各路大神！

best · 发表于 2018-10-19 19:25:17

GScraper

.

billy · 发表于 2018-10-19 20:27:46

excel...？

阿百川 · 发表于 2018-10-19 21:53:32

gawk 或 python

syoi489 · 发表于 2018-10-20 09:10:45

python，java都很容易

bluescharp · 发表于 2018-10-20 09:46:21

数据量大只能分割去重。
现成的工具很多，小于100w用excel，大于100w专业工具用sb或gs，不专业用飞梭工具箱也可以
什么编码乱码深度分析，只能自己撸个python代码了

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利广告开户	独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机	E.PN 虚拟卡	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值
Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	一手BM分享户不限额	9Proxy ⚡️ $0.04/IP, 无限带宽
IPCola原生住宅IP⚡️$2.1/条双ISP	FB二三解0.1元一个	虚拟卡\|PTM星际卡	FB专用虚拟卡
Google、Bing官方总代联盟流量开户	FB账号资源/稳定靠谱/运行5年啦	FB开户代投/三不限/白名单	广告位出租

[外链] 关于外链过滤去重

社区QQ达人