python读取与写入csv,txt格式文件

时间：2022-07-25 16:00:56

python读取与写入csv,txt格式文件

在数据分析中经常需要从csv格式的文件中存取数据以及将数据写书到csv文件中。将csv文件中的数据直接读取为dict类型和DataFrame是非常方便也很省事的一种做法，以下代码以鸢尾花数据为例。

csv文件读取为dict

  • 代码
# -*- coding: utf-8 -*-

import csv

with open('E:/iris.csv') as csvfile:

    reader = csv.DictReader(csvfile, fieldnames=None)   # fieldnames默认为None,如果所读csv文件没有表头，则需要指定

    list_1 = [e for e in reader]  # 每行数据作为一个dict存入链表中

csvfile.close()

print list_1[0]
  • 输出
{'Petal.Length': '1.4', 'Sepal.Length': '5.1', 'Petal.Width': '0.2', 'Sepal.Width': '3.5', 'Species': 'setosa'}

如果读入的每条数据需要单独处理且数据量较大，推荐逐条处理然后再放入。

list_1 = list()

for e in reader:

  list_1.append(your_func(e)) # your_func为每条数据的处理函数

多条类型为dict的数据写入csv文件

  • 代码
#   数据

data = [

{'Petal.Length': '1.4', 'Sepal.Length': '5.1', 'Petal.Width': '0.2', 'Sepal.Width': '3.5', 'Species': 'setosa'},

{'Petal.Length': '1.4', 'Sepal.Length': '4.9', 'Petal.Width': '0.2', 'Sepal.Width': '3', 'Species': 'setosa'},

{'Petal.Length': '1.3', 'Sepal.Length': '4.7', 'Petal.Width': '0.2', 'Sepal.Width': '3.2', 'Species': 'setosa'},

{'Petal.Length': '1.5', 'Sepal.Length': '4.6', 'Petal.Width': '0.2', 'Sepal.Width': '3.1', 'Species': 'setosa'}

]

#   表头

header = ['Petal.Length', 'Sepal.Length', 'Petal.Width', 'Sepal.Width', 'Species']

print len(data)

with open('E:/dst.csv', 'wb') as dstfile:   #写入方式选择wb，否则有空行

    writer = csv.DictWriter(dstfile, fieldnames=header)

    writer.writeheader()    #   写入表头

    writer.writerows(data)  # 批量写入

dstfile.close()

上述代码将数据整体写入csv文件，如果数据量较多且想实时查看写入了多少数据可以使用writerows函数。

读取csv文件为DataFrame

  • 代码
# 读取csv文件为DataFrame

import pandas as pd

dframe = pd.DataFrame.from_csv('E:/iris.csv')

也可以稍微曲折点：

import csv

import pandas as pd

with open('E:/iris.csv') as csvfile:

    reader = csv.DictReader(csvfile, fieldnames=None)   # fieldnames默认为None,如果所读csv文件没有表头，则需要指定

    list_1 = [e for e in reader]  # 每行数据作为一个dict存入链表中

csvfile.close()

dfrme = pd.DataFrame.from_records(list_1)

从zip文件中读取指定csv文件为DataFrame

dst.zip文件中包含有dst.csv和其它文件，现在在不解压缩的情况下直接读取dst.csv文件为DataFrame.

import pandas as pd

import zipfile

z_file = zipfile.ZipFile('E:/dst.zip')

dframe = pd.read_csv(z_file.open('dst.csv'))

z_file.close()

print dframe

DataFrame写入csv文件

dfrme.to_csv('E:/dst.csv', index=False) # 不要每行的编号

读取txt文件为DataFrame

import pandas as pd

frame = pd.read_table(path, header=None, index_col=False, delimiter='\t', dtype=str)

frame = pd.read_table(src_path, delimiter='|', header=None, error_bad_lines=False)
  • src_path:txt文件路径
  • delimiter:字段分隔符
  • header:表头
  • error_bad_lines: 是否忽略无法读取的行(文件中部分行由于认为事物造成读取错误)
  • dtype:数据读入后的存储类型

相关文章