Numpy数据存取

时间：2021-10-10 15:09:42
Numpy数据存取

numpy提供了便捷的内部文件存取，将数据存为np专用的npy(二进制格式)或npz(压缩打包格式)格式

npy格式以二进制存储数据的，在二进制文件第一行以文本形式保存了数据的元信息（维度，数据类型），可以用二进制工具查看查看内容

npz文件以压缩打包文件存储，可以用压缩软件解压

import numpy as np

a = np.array([['张三','李四','王五','赵六'],['','','','','']])

b = a = np.arange(24).reshape((2,3,4))

np.save('x.npy',a) # 存为.npy文件

np.savez("y.npz", ar0 = a, ar1 = b) # 多个数组存入一个.npz压缩包

c = np.load('x.npy') # .npy文件读入数组

c

d = np.load("y.npz") # .npz压缩包读入

d["ar0"] # 单独输出数组

CSV文件存取

Comma-Separated Value,逗号分隔值文件

一种数据存储格式

  • 广泛支持
  • 类表格
  • 存储一维或二维数据
  • 文本格式

CSV文件：

  • 显示：表格状态
  • 源文件：换行和逗号分隔行列的格式化文本

Numpy存储CSV文件

将ndarray数组写入CSV文件中

np.savetxt(frame,array,fmt='%.18e',delimiter=None)

  • frame 存储文件、字符串或产生器的名字，可以是.gz或.bz2的压缩文件，对大型数据有用，压缩后存储或读取，节省存储资源
  • array 存入文件的数组
  • fmt 写入文件中每个元素的字符串格式，例如
    • %s (ASCII字符)
    • %d （整数）
    • %.2f（2位小数的浮点数）
    • %.18e（科学计数法，常用）
      • np各类型元素存储到CSV中都是字符串，字符串显示的格式，默认%.18e，科学计数法，保留18位小数的浮点数形式存储数据，需要根据情况修改
  • delimiter 分隔字符串，默认是任何空格，需要改为 逗号

np的savetxt函数并不是专为生成csv文件用的，它可以生成任何带特定分隔字符的文本文件，但csv文件使用广泛，所以我们一般用此函数只生成csv

import numpy as np

a = np.arange(100).reshape(5,20)

np.savetxt('a.csv',a,fmt='%d',delimiter=',') #整数

np.savetxt('a.csv',a,fmt='%.1f',delimiter=',') #一位小数的浮点数

b = np.array([['a','b','c','d'],['','','','']])

np.savetxt('b.csv',b,fmt='%s',delimiter=',') #ASCII字符，不能存储非ASCII字符串

csv文件只能存储一维、二维数据，不能存储多维数据

import numpy as np

a = np.arange(24).reshape((2,12))

# a = np.arange(24).reshape((2,3,4)) # 存储多维数据出错

a

np.savetxt('y.csv',a,fmt='%d',delimiter=',')

Numpy读取CSV文件

将CSV文件数据读入ndarray数组

np.loadtxt(frame,dtype=np.float,delimiter=None,skiprows=0,usecols=None,unpack=False)

  • frame 文件、字符串或产生器，可以是.gz或bz2压缩文件
  • dtype 数据类型，可选，csv的字符串以什么数据类型读入数组中，默认np.float 浮点数
  • delimiter 分隔字符串，默认是任何空格，改为 逗号
  • skiprows 跳过前x行，一般跳过第一行表头
  • usecols 读取指定的列，索引，元组类型
  • unpack 如果True,读入属性将分别写入不同数组变量，False 读入数据只写入一个数组变量，默认False
import numpy as np

b = np.loadtxt('a.csv', delimiter=',') # 默认浮点型

b = np.loadtxt('a.csv', dtype=np.int, delimiter=',') #数据为整型

#b = np.loadtxt('a.txt', dtype=np.str, delimiter=',') #数据为字符串，输出默认带 b，要去掉用下面方式输出：

b = np.loadtxt('a.txt', dtype=bytes, delimiter=',').astype(str)

b = np.loadtxt('a.txt', dtype=bytes, delimiter=',',skiprows=1,usecols=(2,3)).astype(str) #跳过第一行，读入第3、4列

b

相关文章