python统计目录和目录下的文件,并写入excel表

时间:2022-02-25 15:26:45

运营那边提出需求,有些媒体文件需要统计下

目录结构大概是这样的

python统计目录和目录下的文件,并写入excel表

每个目录下面都有很多文件,目录下面没子目录

python统计目录和目录下的文件,并写入excel表

python统计目录和目录下的文件,并写入excel表

我这里是模拟下创建的目录和文件,和运营那边说的目录结构都是一致的

想最终统计结果如下格式

python统计目录和目录下的文件,并写入excel表

我的思路如下。

这里肯定用到了操作excel的模块以及遍历目录的模块

搜索相关遍历目录的有os.walk不错

先练习下它

从结构上来看,for root, dirs, files in os.walk(...),很容易让人认为os.walk(...)生成了一个迭代器。迭代器的next方法可能会返回下一层次的文件夹内容。事实上,os.walk()是一个生成器函数。

关于生成器转自下面

https://www.zhihu.com/question/20829330

从结构上来看,for root, dirs, files in os.walk(...),很容易让人认为os.walk(...)生成了一个迭代器。迭代器的next方法可能会返回下一层次的文件夹内容。

事实上,os.walk()是一个生成器函数。生成器与迭代器,是Python引入的几大特性之一,而生成器要比迭代器高级一些。至于生成器的工作原理和适用场合,可以先从os.walk()的源码说起。

>>> def func(n):
... yield n*2
...
>>> func
<function func at 0x00000000029F6EB8>
>>> g = func(5)
>>> g
<generator object func at 0x0000000002908630>
>>>

  

func 就是一个生成器函数,调用该函数时返回对象就是生成器 g ,这个生成器对象的行为和迭代器是非常相似的,可以用在 for 循环等场景中。注意 yield 对应的值在函数被调用时不会立刻返回,而是调用next方法时(本质上 for 循环也是调用 next 方法)才返回

>>> g = func(5)
>>> next(g)
10 >>> g = func(5)
>>> for i in g:
... print(i)
...
10

  

那为什么要用生成器呢?显然,用生成器在逼格上要比迭代器高几个等级,它没有那么多冗长代码了,而且性能上一样的高效,为什么不用呢?来看看用生成器实现斐波那契数列有多简单。

def fib(n):
prev, curr = 0, 1
while n > 0:
n -= 1
yield curr
prev, curr = curr, curr + prev print([i for i in fib(10)])
#[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

  

生成器表达式

器表达式与列表推导式长的非常像,但是它俩返回的对象不一样,前者返回生成器对象,后者返回列表对象。

>>> g = (x*2 for x in range(10))
>>> type(g)
<type 'generator'>
>>> l = [x*2 for x in range(10)]
>>> type(l)
<type 'list'>

  

所以os.walk是生成器函数,可以使用for迭代它

也可以使用next单次获取结果

# -*- coding:utf-8 -*-
import os dir1='D:\Pywork\总目录'
list1=[]
inter=os.walk(dir1,topdown=True)
print(inter)
print(next((inter)))
print(next((inter)))
print(next((inter)))

  

结果如下

python统计目录和目录下的文件,并写入excel表

每次执行结果都是一个三元组,第一个是被遍历的目录,第二个是此目录下的子目录列表,第三个此目录下的子文件列表

excel表里,我需要的就是这个列表里的子目录名,以及子目录的文件名

# -*- coding:utf-8 -*-
import os dir1='D:\Pywork\总目录'
list1=[]
for par,dirs1,files1 in os.walk(dir1,topdown=True):
print(par,'---------',dirs1,'++++++++',files1)
list1.append(dirs1)
print('list1---------------------------')
print(list1[0])
for zi in list1[0]:
print(dir1+'\\'+zi)

  

运行结果如下

python统计目录和目录下的文件,并写入excel表

获取子目录以及子目录的文件,打印下

这里先把excel的注释了

# -*- coding:utf-8 -*-

import os
import xlwt
#写个配置文件,通过它获取目录
def get_dir():
try:
with open(r'D:\Pywork\mulu.txt', 'r') as f :
print(f.readline())
return f.readline()
except Exception as e:
print("文件格式有误,或者文件名不对----"+e)
# 创建 xls 文件对象
wb = xlwt.Workbook()
# 新增一个表单
sh = wb.add_sheet('文件信息')
# 按位置添加数据
dir_col=0
file_col=1
row_init=0
#从配置获取目录名
dir=get_dir()
for parent1, dir_names1, file_names1 in os.walk(dir):
for dir_name1 in dir_names1:
for parent2,dir_names2,file_names2 in os.walk(dir+dir_name1):
for file_name2 in file_names2:
# sh.write(row_init,dir_col,dir_name1)
# sh.write(row_init,file_col,file_name2)
# row_init=row_init+1
print(dir_name1,file_name2)
# wb.save("文件信息结果.xls")
# print(dir_name1,file_name2)

  

上面是通过配置文件方式获取要被操作的目标目录

python统计目录和目录下的文件,并写入excel表

写入excel运行测试成功

# -*- coding:utf-8 -*-
import os
import xlwt
#写个配置文件,通过它获取目录
def get_dir():
try:
with open(r'D:\Pywork\mulu.txt', 'r') as f :
print(f.readline())
return f.readline()
except Exception as e:
print("文件格式有误,或者文件名不对----"+e)
# 创建 xls 文件对象
wb = xlwt.Workbook()
# 新增一个表单
sh = wb.add_sheet('文件信息')
# 按位置添加数据
dir_col=0
file_col=1
row_init=0
#从配置获取目录名
dir=get_dir()
for parent1, dir_names1, file_names1 in os.walk(dir):
for dir_name1 in dir_names1:
for parent2,dir_names2,file_names2 in os.walk(dir+dir_name1):
for file_name2 in file_names2:
sh.write(row_init,dir_col,dir_name1)
sh.write(row_init,file_col,file_name2)
row_init=row_init+1
# print(dir_name1,file_name2)
wb.save("文件信息结果.xls")

  

python统计目录和目录下的文件,并写入excel表

改良下代码,因为我想把这个py脚本打成exe程序,交给运营。不然每次需要我帮他们弄,太麻烦我了

# -*- coding:utf-8 -*-

#exe直接丢入父级目录下
import os
import xlwt #定义个获取目录的函数。没用到
def get_dir():
return os.getcwd()
# 创建 xls 文件对象
wb = xlwt.Workbook()
# 新增一个表单
sh = wb.add_sheet('子目录文件信息')
# 按位置添加数据,col表示列的意思
dir_col=0
file_col=1
row_init=0
#从配置获取目录名,这里并没用到。因为程序就在目标目录下。可以重新赋值为.
dir=get_dir()
dir="."
for parent1, dir_names1, file_names1 in os.walk(dir):
for dir_name1 in dir_names1:
for parent2,dir_names2,file_names2 in os.walk(dir+'\\'+dir_name1):
for file_name2 in file_names2:
sh.write(row_init,dir_col,dir_name1)
sh.write(row_init,file_col,file_name2)
row_init=row_init+1
wb.save("子目录文件统计.xls")

  

 把此py脚本打成exe文件


需要用到PyInstaller以及pywin32

下载的pywin32和PyInstaller为

pywin32-221.win32-py3.5.exe

PyInstaller-3.1.1.tar.gz

Python是没有自带访问windows系统API的库的,需要下载。库的名称叫pywin32,可以从网上直接下载。
以下链接地址可以下载:http://sourceforge.net/projects/pywin32/files%2Fpywin32/ (下载适合你的Python版本)

它会自动检测你的python解释器路径并进行安装(前提是环境变量配置好了)

以下是安装过程,不用设置环境变量,它会自动检测你python的环境变量
然后自动安装到第三方插件里

python统计目录和目录下的文件,并写入excel表

python统计目录和目录下的文件,并写入excel表

关于PyInstaller-3.1.1.tar.gz的安装

我放在下面路径下了。没特殊要求

python统计目录和目录下的文件,并写入excel表

解压并安装

我的win10安装如下
D:\Programs\Python\PyInstaller-3.1.1>python setup.py install

  

python统计目录和目录下的文件,并写入excel表

执行

PyInstaller -F 子目录文件统计.py

-F执行py文件路径

最好exe程序在下面路径

注意下面的执行路径

D:\Programs\Python\PyInstaller-3.1.1\dist\子目录文件统计.exe

D:\Programs\Python\PyInstaller-3.1.1>PyInstaller -F 子目录文件统计.py
77 INFO: PyInstaller: 3.1.1
123 INFO: Python: 3.5.2
125 INFO: Platform: Windows-10-10.0.16299-SP0
128 INFO: wrote D:\Programs\Python\PyInstaller-3.1.1\子目录文件统计.spec
135 INFO: UPX is not available.
137 INFO: Extending PYTHONPATH with paths
['D:\\Programs\\Python\\PyInstaller-3.1.1',
'D:\\Programs\\Python\\PyInstaller-3.1.1']
144 INFO: checking Analysis
156 INFO: Building because D:\Programs\Python\PyInstaller-3.1.1\子目录文件统计.py changed
158 INFO: Initializing module dependency graph...
161 INFO: Initializing module graph hooks...
172 INFO: Analyzing base_library.zip ...
2429 INFO: running Analysis out00-Analysis.toc
2596 WARNING: lib not found: api-ms-win-crt-process-l1-1-0.dll dependency of D:\Programs\Python\Python35-32\python35.dll 2692 WARNING: lib not found: api-ms-win-crt-conio-l1-1-0.dll dependency of D:\Programs\Python\Python35-32\python35.dll
3031 INFO: Analyzing D:\Programs\Python\PyInstaller-3.1.1\子目录文件统计.py
3380 INFO: Looking for import hooks ...
3384 INFO: Processing hook hook-encodings.py
3394 INFO: Processing hook hook-pydoc.py
3395 INFO: Processing hook hook-xml.py
3581 INFO: Looking for ctypes DLLs
3587 INFO: Analyzing run-time hooks ...
3599 INFO: Looking for dynamic libraries
3687 WARNING: lib not found: api-ms-win-crt-conio-l1-1-0.dll dependency of D:\Programs\Python\Python35-32\DLLs\_ssl.pyd
3827 WARNING: lib not found: api-ms-win-crt-conio-l1-1-0.dll dependency of D:\Programs\Python\Python35-32\DLLs\_hashlib.
pyd
3863 INFO: Looking for eggs
3863 INFO: Using Python library D:\Programs\Python\Python35-32\python35.dll
3863 INFO: Found binding redirects:
[]
3881 INFO: Warnings written to D:\Programs\Python\PyInstaller-3.1.1\build\子目录文件统计\warn子目录文件统计.txt
3892 INFO: checking PYZ
3894 INFO: Building because toc changed
3895 INFO: Building PYZ (ZlibArchive) D:\Programs\Python\PyInstaller-3.1.1\build\子目录文件统计\out00-PYZ.pyz
4178 INFO: checking PKG
4180 INFO: Building because toc changed
4180 INFO: Building PKG (CArchive) out00-PKG.pkg
5477 INFO: Bootloader D:\Programs\Python\Python35-32\lib\site-packages\pyinstaller-3.1.1-py3.5.egg\PyInstaller\bootloade
r\Windows-32bit\run.exe
5478 INFO: checking EXE
5479 INFO: Building because out00-EXE.toc is bad
5490 INFO: Building EXE from out00-EXE.toc
5495 INFO: Appending archive to EXE D:\Programs\Python\PyInstaller-3.1.1\dist\子目录文件统计.exe D:\Programs\Python\PyInstaller-3.1.1>

  

注意!!!存储py文件的时候必须是如下格式

否则打包成exe的时候,会无法成功

python统计目录和目录下的文件,并写入excel表

把exe程序拿出来

python统计目录和目录下的文件,并写入excel表

复制放到这里

python统计目录和目录下的文件,并写入excel表

退出杀毒软件,双击运行

生成xls文件

python统计目录和目录下的文件,并写入excel表

双击打开

python统计目录和目录下的文件,并写入excel表