一、numpy
numpy是python数据分析和机器学习的基础模块之一。它有两个作用：1.区别于list列表，提供了数组操作、数组运算、以及统计分布和简单的数学模型；2.计算速度快[甚至要由于python内置的简单运算]，使得其成为pandas、sklearn等模块的依赖包。高级的框架如TensorFlow、PyTorch等，其数组操作也和numpy非常相似。
1、随机数生成
常用的生成随机数的几个函数:
li = list(range(10)) print(li, type(li)) li = np.array(li) print(li, type(li)) li = li.tolist() # list(li)也可以 print(li, type(li))
np.random.rand(10, 5) # 生成[0, 1]之间均匀分布的数组10行，5列 np.random.randn(10, 5) # 生成[0, 1]之间均匀分布的数组10行，5列 np.random.randint(10, 20, size=(10, 5)) # 生成[10, 20]之间随机数组10行，5列 np.random.random(size=(10, 5)) # 生成[0, 1]之间的10行5列的数组 li = list(range(10)) np.random.choice(li, size=(10, 5)) # 从li中产生随机数，生成10行5列的数组 np.arange(10, 20, 2, ) # 从[10, 20]中以步长为2生成一维数组
其它不常见的随机数生成函数:
np.random.binomial(100, 0.5, size=(10, 5))
2、数组切片
array对象的切片和list列表的切片操作相同。记住一个规则array[start: end: step]。
dt = np.random.binomial(100, 0.5, size=(10, 5)) dt[1: 3, :] dt[[1,5], :] dt[[1, 4, 7]] dt[:, [2, 4]]
一维和n维数组的转化
li = np.random.random((1, 100)).reshape(20, 5) # 将1行100列的数组转换成20行5列的新数组 print(li) li = li.reshape((2, -1)) # 将20行5列的数组转换成2行50列的新数组 # 将20行5列的数组转换为2行50列的数组，-1表示根据原数据和当前行[列]参数来自动生成列[行]数 print(li) li = li.reshape(-1, 100) # 将2行50列的数组转换成1行100列的数组 print(li)
3、数组运算
# 加法 np.sum(l1) # 有意思的sum np.sum(l1, axis=0) np.sum(l1, axis=1) np.sum([l1, l2]) np.subtract(l1, l2) # 减法 np.multiply(l1, l2) # 乘法 np.divide(l1, l2) # 除法 np.power(l1, l2) # 幂乘 np.floor_divide(l1, l2) # 地板除 np.floor(l1) # 向下取整 np.ceil(l1) # 向上取整 np.dot(l1, l2.T) # 点积 l2.T表示转置 np. # 以下和sum的使用方式相同 np.max(l1) np.min(l1) np.mean(l1) np.median(l1) np.std(l1) np.var(l1) # np.vander() # 必须是一维数组， # li = np.arange(1, 5, step=1, dtype=int) # np.vander(li, len(li))
numpy还有其它的一些常用函数，如np.exp(), np.abs()等，也可以通过np.loadtxt读取txt文件。
4、数组拼接
l1 = np.linspace(10, 20, num=72).reshape(12, 6) l2 = np.random.random(size=(12, 6)) np.vstack((l1, l2)) # 按列拼接 np.hstack((l1, l2)) # 按行拼接 np.vsplit(l1, [3, 6, 9]) # 按行切割，参数3, 6, 9表示在第几行切割一下[包括这一行]，生成一个list对象 np.hsplit(l1, [1, 3,]) # 按列切割
二、pandas
官方api: http://pandas.pydata.org/pandas-docs/stable/api.html#general-functions
pandas是python数据分析的核心模块。它主要提供了五大功能:
- 1.支持文件存取操作，支持数据库(sql)、html、json、pickle、csv(txt、excel)、sas、stata、hdf等。
- 2.支持增删改查、切片、高阶函数、分组聚合等单表操作，以及和dict、list的互相转换。
- 3.支持多表拼接合并操作。
- 4.支持简单的绘图操作。
- 5.支持简单的统计分析操作。
1、创建和存取pandas对象
dic = [ { "name": "Li", "age": 18, "gender": "male" }, { "name": "Wusir", "age": 16, "gender": "female", } ] df = pd.DataFrame( data=dic, index=None, columns=["name", "age", "gender"], # list(dic.keys()), dtype=None, # dtype不可用列表去给每个column去定义 )
lis = np.random.random(size=(13, 5)) index = pd.period_range(start="2017-01-01", end="2018-01-01", freq="M") # index = pd.period_range(start=pd.Period('2017Q1', freq='Q'), end=pd.Period('2017Q2', freq='Q'), freq='M') df= pd.DataFrame(lis, index=index, columns=list("ABCED")).reset_index(drop=False)
df.to_csv("test", header=True, index=False) pd.read_csv("test")
import pandas as pd import threading import sqlalchemy from sqlalchemy import create_engine engine = create_engine( "mysql+pymysql://root:1234@127.0.0.1:3306/test?charset=utf8", max_overflow=5, pool_size=10, pool_timeout=30, pool_recycle=-1, ) df = pd.read_sql_table("test1", con=engine, columns=None)
import numpy as np import pandas as pd import pymysql def conn(sql): # 连接到mysql数据库 conn = pymysql.connect( host="localhost", port=3306, user="root", passwd="1234", db="test", ) try: data = pd.read_sql(sql, con=conn) return data except Exception as e: print("SQL is not correct!", sep="\r\n\r\n") finally: conn.close() sql = "select * from test1 limit 0, 10" # sql语句 data = conn(sql) # print(data.columns.tolist()) # 查看字段 print(data) # 查看数据
使用的数据文件为: https://files.cnblogs.com/files/kuaizifeng/test.zip
2、切片与增删改查
待续。。。。。。