怎么去除重复网址

rest4317 · 发表于 2013-9-20 19:48:21

小白我最近逛bhw，发现不少好帖子，然后就复制了网址到一个txt文档里。到现在收藏下的网址多看了发现很多是重复收藏了，请教用什么工具能查出重复的网址，然后剔除掉。

最后感叹下：光说不练假把式！take action

4mile · 发表于 2013-9-20 19:59:28

笨方法：EXCEL筛选

河小马 · 发表于 2013-9-20 21:30:23

excel 是可以的

ksduck · 发表于 2013-9-20 21:51:44

一点都不觉得excel是笨办法，相反这是时间投入最小的办法：

http://www.wangyeba.com/Article/rjjx/wlgj/200908/20090824092117.shtml

妖妖 · 发表于 2013-9-20 21:52:53

EDITPLUS 文本编辑器直接可以去重

firearmer · 发表于 2013-9-20 21:53:44

我一直用 AkelPad ，里面自带去除重复，非常方便，因为我也常用这功能。

bjzhush · 发表于 2013-9-20 22:43:31

我在linux下
给你贴个简单可行的办法
cat url.txt|sort|uniq

bjzhush · 发表于 2013-9-20 22:47:54

忘记说了,如果txt里面有空格,比如结尾的空格,是会干扰这个uniq的
需要用vim或者其它工具先吧空格替换掉

rest4317 · 发表于 2013-9-21 01:53:42

已解决！谢谢楼上诸位大大的热情援助

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	指纹浏览器，就用AdsPower
【广	告	开	户】
⚡️我们很有实力	Search feed套利⚡️Affiliate 广告开户	FB/Google/TK	点我开户⚡️
DuoPlus专注打造跨境电商云手机	E.PN 虚拟卡	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值
Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	2024做什么 - Media buy 项目库
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	Adsterra 的CPA/CPM/CPC 网站流量	一手BM分享户不限额
9Proxy ⚡️ $0.04/IP, 无限带宽	FB顶级服务商	IPCola原生住宅IP⚡️$2.1/条双ISP	FB1拖7/8/9一个也是批发价
FB二三解0.1元一个	虚拟卡\|PTM星际卡	FB专用虚拟卡	Google、Bing官方总代联盟流量开户
广告位出租

[讨论] 怎么去除重复网址