随机sample文件Python程序

时间:2023-03-08 17:42:23

经常遇到由于样本巨大,需要sample一部分文件进行案例分析的情况,下面的程序主要为了随机抽取一个大文件中的N行。

 #!/usr/bin/python
# -*- coding: <encoding name> -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8') import os
import json
import codecs
import random
import linecache ## from 1 to 1000w or ...
Random_number_list=[x for x in range(815003)]
## select 100 or ...
Random_data_line = random.sample(Random_number_list, 100)
## open a file
write_fname=open('aa.txt','a+')
for tmp_line in Random_data_line:
tmpdata=linecache.getline('readfile',tmp_line)
write_fname.write(tmpdata)
write_fname.close()