本文实例讲述了python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考,具体如下:
centos7下查看cup核数:
1
2
3
4
5
6
7
8
|
# 总核数 = 物理cpu个数 x 每颗物理cpu的核数
# 总逻辑cpu数 = 物理cpu个数 x 每颗物理cpu的核数 x 超线程数
# 查看物理cpu个数
cat / proc / cpuinfo| grep "physical id" | sort| uniq| wc - l
# 查看每个物理cpu中core的个数(即核数)
cat / proc / cpuinfo| grep "cpu cores" | uniq
# 查看逻辑cpu的个数
cat / proc / cpuinfo| grep "processor" | wc - l
|
本示例拷贝文件采用的是最简单的但是有最复杂的方式:
1,根据要拷贝的文件夹名称,创建一个新的文件夹用来存储文件
2,读取源文件夹下的文件内容,将其写入目的文件夹下同名的文件中
直接上代码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
|
# coding=utf-8
from multiprocessing import pool, manager
import os
import traceback
import time
def copyfiletask(name, oldfoldername, newfoldername, queue):
"""copy文件"""
fr = open (oldfoldername + "/" + name)
fw = open (newfoldername + "/" + name, "w" )
content = fr.read()
fw.write(content)
fr.close()
fw.close()
# 将copy完成的文件名称put进队列
queue.put(name)
def main():
try :
# 0. 获取要copy的文件夹
# oldfoldername = input("请输入文件夹的名字:") # python3
oldfoldername = raw_input ( "请输入文件夹的名字:" ) # python2
# 1. 创建一个新的文件夹
print 'mkdir new file ------'
newfoldername = str (oldfoldername) + "-copy"
# print(newfoldername)
os.mkdir(newfoldername)
# 2. 获取old文件夹中的所有的文件名字
filenames = os.listdir(oldfoldername)
# print(filenames)
# 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
pool = pool( 5 )
# 创建一个队列
queue = manager().queue()
for name in filenames:
pool.apply_async(copyfiletask, args = (name, oldfoldername, newfoldername, queue))
pool.close() # 关闭进程池,不再接受请求
pool.join() # 等待所有的子进程结束
num = 0
# 需要copy的文件总数
allnum = len (filenames)
while num < allnum:
# 收数据
queue.get()
num + = 1
copyrate = float (num) / allnum
# 打印copy的进度
time.sleep( 0.1 ) # 容易看出来打印百分比的变化,延长百分比更新的时间
print "\rcopy的进度是:%.2f%%" % (copyrate * 100 ),
print "\ncopy success ------"
except :
traceback.print_exc()
if __name__ = = "__main__" :
main()
|
下面采用python模块shutil模块进行copy操作:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
|
# coding=utf-8
from multiprocessing import pool, manager
import os
import traceback
import time
import shutil
def copyfiletask(name, old_path, new_path, queue):
"""copy文件"""
src_path = os.path.join(old_path, name)
dst_path = os.path.join(new_path, name)
shutil.copy(src_path, dst_path) # 拷贝文件
# shitil.move(src_path, dst_path) # 移动文件
# 将copy完成的文件名称put进队列
queue.put(name)
def main():
try :
# 0. 获取要copy的文件夹
oldfoldername = raw_input ( "请输入文件夹的名字:" )
print '要拷贝的源文件夹: ' , oldfoldername
# 1. 创建一个新的文件夹
newfoldername = raw_input ( "请输入文件夹的名字:" )
print '目标文件夹:' , newfoldername
# 获取当前所在的路径
now_path = os.getcwd()
print "当前所在路径: " , now_path
old_path = os.path.join(now_path, oldfoldername)
print '源文件夹路径: ' , old_path
new_path = os.path.join(now_path, newfoldername)
print '目标文件夹路径: ' , new_path
if not os.path.exists(new_path):
os.mkdir(new_path)
# 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
pool = pool( 5 ) # 创建5条进程
queue = manager().queue() # 创建一个队列
# 遍历源文件夹
for root, dirs, files in os.walk(oldfoldername):
"""
root 所指的是当前正在遍历的这个文件夹的本身的地址
dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
"""
print '源文件夹下的文件数量::' , len (files)
s_t = time.time()
for file in files:
pool.apply_async(copyfiletask, args = ( file , old_path, new_path, queue)) # 向进程池中添加任务
pool.close() # 关闭进程池,不再接受请求
pool.join() # 等待所有的子进程结束
print '耗时:{} 秒' . format (time.time() - s_t)
num = 0
# 需要copy的文件总数
allnum = len (files)
print 'len(filenames) = ' , allnum
while true:
# 收数据
# print '收数据 ------'
queue.get()
# print 'queue.get() ------', queue.get()
num + = 1
copyrate = float (num) / allnum
# 打印copy的进度
print "\rcopy的进度是:%.2f%%" % (copyrate * 100 ),
if num = = allnum:
break
print "\ncopy success ------"
except :
traceback.print_exc()
if __name__ = = "__main__" :
main()
|
输出:(由于我的cup核数为1核,在使用多进程的过程中,操作系统在轮询的时候,频繁的切换任务,浪费时间导致多进程比单进程耗时更长。)
[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹: hdfs
请输入文件夹的名字:test01
目标文件夹: test01
当前所在路径: /mnt
源文件夹路径: /mnt/hdfs
目标文件夹路径: /mnt/test01
源文件夹下的文件数量:: 8165
耗时:253.655323982 秒
len(filenames) = 8165
copy的进度是:100.00%
copy success ------
单进程拷贝文件:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
|
# coding=utf-8
from queue import queue
import os
import traceback
import time
import shutil
def copyfiletask(name, old_path, new_path, queue):
"""copy文件"""
src_path = os.path.join(old_path, name)
dst_path = os.path.join(new_path, name)
shutil.copy(src_path, dst_path) # 拷贝文件
# shitil.move(src_path, dst_path) # 移动文件
# 将copy完成的文件名称put进队列
queue.put(name)
def main():
try :
# 0. 获取要copy的文件夹
oldfoldername = raw_input ( "请输入文件夹的名字:" )
print '要拷贝的源文件夹: ' , oldfoldername
# 1. 创建一个新的文件夹
newfoldername = raw_input ( "请输入文件夹的名字:" )
print '目标文件夹:' , newfoldername
# 获取当前所在的路径
now_path = os.getcwd()
print "当前所在路径: " , now_path
old_path = os.path.join(now_path, oldfoldername)
print '源文件夹路径: ' , old_path
new_path = os.path.join(now_path, newfoldername)
print '目标文件夹路径: ' , new_path
if not os.path.exists(new_path):
os.mkdir(new_path)
queue = queue() # 创建一个队列
# 遍历源文件夹
for root, dirs, files in os.walk(oldfoldername):
"""
root 所指的是当前正在遍历的这个文件夹的本身的地址
dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
"""
print '源文件夹下的文件数量::' , len (files)
s_t = time.time()
# 调用函数拷贝文件
for file in files:
copyfiletask( file , old_path, new_path, queue)
print '耗时:{} 秒' . format (time.time() - s_t)
num = 0
# 需要copy的文件总数
allnum = len (files)
print 'len(filenames) = ' , allnum
while true:
# 收数据
# print '收数据 ------'
queue.get()
# print 'queue.get() ------', queue.get()
num + = 1
copyrate = float (num) / allnum
# 打印copy的进度
print "\rcopy的进度是:%.2f%%" % (copyrate * 100 ),
if num = = allnum:
break
print "\ncopy success ------"
except :
traceback.print_exc()
if __name__ = = "__main__" :
main()
|
输出:
[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹: hdfs
请输入文件夹的名字:test02
目标文件夹: test02
当前所在路径: /mnt
源文件夹路径: /mnt/hdfs
目标文件夹路径: /mnt/test02
源文件夹下的文件数量:: 8165
耗时:122.284090996 秒
len(filenames) = 8165
copy的进度是:100.00%
copy success ------
我的虚拟机cpu核数:1
如下:
1
2
3
4
5
6
|
[root@centos7 mnt] # cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt] # cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt] # cat /proc/cpuinfo| grep "processor"| wc -l
1
|
希望本文所述对大家python程序设计有所帮助。
原文链接:https://blog.csdn.net/xuezhangjun0121/article/details/88777303