AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G需要代理IP?⚡️Proxysites.ai⚡️指纹浏览器,就用AdsPower
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机E.PN 虚拟卡BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量百度国际MediaGo,独家原生流量
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值Facebook 批量上广告
尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)
⚡️个人户,bm户不限额,账单户一手BM分享户不限额9Proxy ⚡️ $0.04/IP, 无限带宽 IPCola原生住宅IP⚡️$2.1/条双ISP
FB二三解0.1元一个虚拟卡|PTM星际卡FB专用虚拟卡Google、Bing官方总代  联盟流量开户
FB账号资源/稳定靠谱/运行5年啦FB开户代投/三不限/白名单fb耐用号0.01一个fb账号官方合作商
FB资源,账单户,分享户,国内一手FB企业户BM户账单户源头广告位出租 
查看: 18666|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
回复

使用道具 举报

16

主题

1102

广告币

2361

积分

高级会员

Rank: 4

积分
2361
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

Rank: 3Rank: 3

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:489 F- V% I/ e$ w# f. Q9 S# I% u- B
1G文本,你电脑不死机么?

6 }- x& R) ?' A# I) P3 R16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:478 P0 j. x, v; Z4 P8 Z
按行导到数据库去 然后...
& O0 C: i1 ^/ s* Y
然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1102

广告币

2361

积分

高级会员

Rank: 4

积分
2361
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是
, _  T2 Y. Y8 w& S1 V* f, ~( T; V* D; w* M/ F
比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
. `3 t& Q9 S! x8 Y# {你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

17

广告币

101

积分

初级会员

Rank: 2

积分
101
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

Rank: 2

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1369

广告币

1730

积分

高级会员

Rank: 4

积分
1730

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt
1 D2 g" Q" v3 t( l1
: B6 J7 x, |: N2, S" n* B- N& v& M! o0 a
32 `7 {! ^3 B. U6 K$ b
4/ Y$ }9 j5 T8 O% A# D- T) t* @) M) [! R% K
5
# ]9 Q8 I- B+ t* Z6
- }+ g+ g: t1 c2 c; |! r7
3 K. _. T9 H0 i8
# b% P' w6 ^9 j2 u9
7 ^! {+ i' s7 T6 w! a3 Z& b5 \" |10; V( Y% O# B/ X9 D) l; t
11& T* G# s6 G/ m- q2 N$ q) U
12
5 M! w% `+ u1 H) X9 j$ o
1 Q$ u% [4 u0 \, {5 o) \3 b5 U# v0 m) r( |  H
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'/ g' Z7 I4 X4 |! }& ^! {- ^1 U6 f
85 Q5 j8 L' T2 s( R  U+ }) ~
12
$ Z1 Q9 [5 l, e6 h6 j) ~62 d: ~# R8 z% A2 e+ ?  \# v9 P% C( o
2  B/ b5 l4 o1 A# [2 s2 z
4
( y8 D6 b1 l" n& l4 v109 c: |; Q8 ?: k' a
11. _5 x# S; ~' y! \/ Z
1: x6 p! t; J* V: w  |' m* b
5
( e) _! r0 r- e% Y4 l1 ^% Y1 N92 h& O; J; ?+ s$ H" v+ f. S
3
6 a1 {5 d; [- f7
3 o3 m  Y" Y0 w1 o, u( T$ B# s
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:3 \. A+ }1 l/ U% E! p( [* f

. c* X' n0 ^* {4 R- [7 U' sroot@slackware:/tmp# cat test.txt
; h5 }: s5 @" |$ [17 t2 [3 }  P: K, f1 Q
2% f7 b+ d+ q3 ~
3! h8 I9 k3 o0 g2 W+ g6 x+ H! [& O
41 ]# m2 l* ]- t# c& ^+ n
5
( u& Q: V$ O' ~/ C6, j+ n$ p4 l* N9 h) P  Z5 O! V
6. d7 U7 p. y3 e5 L, e
7
- s+ n, D6 t/ w+ W- L% j6 u81 k* \3 Q4 C2 t: H+ L/ ]$ y
9
0 D$ P  W) r& r- x% x9. r( t- A" O5 [5 [6 ~; w$ ^+ R
10+ b( Y" {0 }" j9 S$ u4 r, s
11
& X7 ]# r: W  i# N. X  P12
) d7 _# i8 X7 ~, ?1 x( B. {* Lroot@slackware:/tmp# shuf test.txt : t8 N. _) j8 V# I' _4 t
6
/ M2 U; Q# D1 Q1 t10) Z% u6 u6 [6 E- X
111 t8 m1 p& k5 M
7
( ~1 z; E3 E/ M$ y) Q( @1
$ b* k, x( K! T5
8 f9 [7 G- B) }) W8 Y! p( r$ O! A35 p2 c) f  x. I
9* j9 b" s3 l  I8 }  H6 c
6' O- Y( W! d; ?5 U  |3 g
4
7 A7 B) Q. d* ^: ?; O" h12
1 M) c7 H7 |8 K8
* }7 ]  c- O! u* F9
+ g' O# b, N( _9 l5 q* P1 ^5 N( X# }' l21 I- d7 ]  K9 q9 S! I2 A3 C
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt

点评

这个屌爆了。我刚还准备用C#自己弄一个...  详情 回复 发表于 2016-2-26 16:42
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-1-17 03:38 , Processed in 0.051593 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表