python数据处理(一)

时间:2021-08-08 18:30:15

csv数据处理ReaderWriterexcel数据处理

csv数据处理

csv表示”Comma-Separated Values(逗号分隔的值)”,csv文件时简化的电子表格,保存为纯文本文件。
python中解析csv文件可以使用csv模块。

  • 注意:csv是文本文件,通过打开文件的操作,将其内容读入一个字符串,然后通过字符串的split()方法处理每行文本取得值。需要注意csv文件中也有自己的转义字符,允许逗号或者其他字符作为值的一部分,split()方法无法处理这部分转义字符。所以处理csv文件时为避免这些潜在的问题,建议使用csv模块处理csv文件。

Reader

使用csv模块从csv文件中读取数据,需要创建一个Reader对象,可以通过Reader对象迭代遍历csv文件中的每一行。

import csv
with open("example.csv", encoding='utf-8') as dataObject:
dataReader = csv.reader(dataObject)
for row in dataReader:
print("第{0}行:{1}".format(dataReader.line_num, row))
Reader对象的line_num变量是当前的行号。
输出结果
1行:['2018/06/09', 'Apples', '73']
2行:['2018/06/10', 'Cherries', '85']
3行:['2018/06/11', 'Pears', '14']

Writer

Write对象可以将数据写入到csv文件中。
首先调用open()并传入w,以写模式打开一个文件。这时会创建一个对象。
然后将创建的对象传递给csv.writer(),创建一个Writer对象。
接下来调用Writer对象的writerow()方法写入文件。该方法接受参数为列表,返回值为写入文件这一行中的字符数(包括换行符)。

import csv
with open("test.csv", 'w', encoding='utf-8', newline='') as outputFile:
dataWriter = csv.writer(outputFile)
dataWriter.writerow(['a', 'b', 'c'])
dataWriter.writerow(['啊', '吧', '次'])
dataWriter.writerow(['A', 'Hello,World!', 'C'])
最后输出结果
a,b,c
啊,吧,次
A,"Hello,World!",C

此处的Hello,Wrold!中的逗号自动转义,使用双引号处理了。
在windows中open()需加上newline=''参数,否则将出现2倍行距的情况。
写入的文件必须已经存在。

delimiter 指定分隔符,默认为逗号
lineterminator 行距,默认为单倍行距

dataWriter = csv.writer(outputFile, delimiter='\t', lineterminator='\n\n')

上面表示使用制表符作为分隔符,两倍行距(也就是行之间字符变为2个换行符)。

excel数据处理

excel的操作都是通过第三方库来进行。常用的有xlrd、xlwt、xluntils、pyExcelerator、openpyxl。

  • xlrd只能进行读取excel文件,没法进行写入文件。
  • xlwt可以写入文件,但是不能在已有的excel的文件上进行修改。
    vxluntils可以对文件进行复制和修改,该模块功能实现依赖于xlrd和xlwt。
  • pyExcelerator模块与xlwt类似,也可以用来生成excel文件,同时支持单元格合并、冻结等操作。
    vopenpyxl也支持文件的读取、写入、创建和删除工作表、设置字体格式、单元格合并、冻结等操作。