利用python进行数据加载和存储

时间:2021-07-08 21:46:20

1、文本文件

(1)pd.read_csv加载分隔符为逗号的数据;pd.read_table从文件、URL、文件型对象中加载带分隔符的数据。默认为制表符。(加载为DataFrame结构)

参数names指定列名,index_col用作行索引的列名或列编号,header用作列名的行号。

(2)利用DataFrame的to_csv方法,将数据写入到文件。

(3)import csv利用csv.reader读取已打开的文件对象;csv.writer方法写入数据。

2、json数据

import json

json.loads()将json数据加载为python对象;json.dumps()将python对象转换为json格式。

3、html

from lxml.html import parse

from urllib2 import urlopen

利用urlopen将希望获取数据的url打开,然后用parse解析得到的数据流。

from pandas.io.parses import TextParser(自动类型转换)

4、xml

利用lxml.objectify解析,from lxml import objectify

parsed=objectify.parse(open(path))

5、二进制格式

将数据以pickle形式保存到磁盘用save方法,frame.save(path)

pd.load(path)将数据读回python

6、excel文件

pd.ExcelFile(path)读取xls或xlsx文件.(预先要安装xlrd和openpyxl包)

7、web API

import requests

import json

data=json.loads(requests.get(url).text)

8、数据库

sqlite3、pyodbc、mysqldb、pymysql等;非关系型pymongo