pandas(一)

时间:2021-11-24 10:56:59

import numpy as py

import pandas as pd

Series对象

data= pd.Series([0.25,0.5,0.75,1.0])   默认索引是数字

data=pd.Series([0.25,0.5,0.75,1.0],index=['a','b','c','d'])   用字符串定义索引,也可以用不连续的索引

data['b']

data['a':'c']  支持切片操作

pd.Series(data,index=index)

data可以是列表或numpy数组

pd.Series([2,4,6])

也可以是标量,创建时会重复填充到每个索引上

pd.Series([5,index=[100,200,300])

也可以是字典,index默认是字典的键

pd.Series({2:'a',3:'b'})

series的字典式映射方法

data=pd.Series([0.25,0.5,0.75,1.0],

        index=['a','b','c','d'

      )

判断data中是否有a索引

'a' in data

获取data索引

data.keys()

获取所有数据

list(data.items())

增加新索引

data['e']=10.25

切片:

  显示索引做切片,包含最后一个值

  data['a':'c']

  隐式整数索引做切片,不包含年最后一个值

  data[0:2]

掩码:

  data[(data>0.3) & (data<0.7)]

花哨索引:

  data[['a,'e']]

索引器:为了防止series为整数索引是,取值为显式索引,切片为隐式索引而混淆

  loc:表示取值和切片都是显式

  data=pd.Series(['a','b','c'],index=[1,3,5])

  data.loc[1]

  data.loc[1:3]

  iloc:表示取值和切片都是隐式

  data.iloc[1]

  data.iloc[0:2]

  

DataFrame对象

通过字典列表创建

  data=[{'a':i,'b':2*i} for i in range(3)]

  x=pd.DataFrame(data)

通过series对象创建

  pd.DataFrame({'data':data,'age':[1,2,3,4])

*注意此处data是前面series创建好的有索引的对象

通过numpy创建

pd.DataFrame(np.random.rand(3,2),

      columns=['name','age'],

      index=['a','b','c']

      )

x.index获取行索引标签,x.columns获取列索引标签

pandas 的index对象

创建对象

ind=pd.Index([2,5,6,7,11])

切片,索引

ind[1],ind[::2]

inda=pd.Index([1,3,5,7,9])

indb=pd.Index([2,3,5,7,11])

交集

inda & indb

并集

inda | indb

异或

inda ^ indb

DataFrame数据选择方法

name = pd.Series({'a':'xi','b':'lin','c':'saber'})

age = pd.Series({'a':18,'b':20,'c':'18'})

data = pd.DataFrame({'name':name,'age':age})

data['name'] 等价于data.name,推荐前者

data.values  查看数组数据

data.values[0] 查看第一行数据

data.T 转置

loc,iloc与series对象中的用法相同

data.loc[:'lin',:'age']

data.iloc[:3,:2]

ix混合使用,不常用

data.ix[:3,:'age']

与掩码和花哨索引结合使用

data.loc[data.age>18,['name','age']]

更新数据

data[0,1]= 20

numpy通用函数pandas也适用

当用两个series对象创建dataframe对象时,会取两个对象的并集,没有的用nan代替

两个dataframe运算时也适用

也可以自定义缺失值

a=pd.DataFrame(np.random.randint(0,20,(2,2)),

        columns=list('ab'))

b=pd.DataFrame(np.random.randint(0,10,(3,3)),

        columns=list('bca'))

fill = a.stack().mean()

a.add(b,fill_value=fill)   a的缺失值用fill填充

缺失值处理:

  常用标签nan(not a number)

  val = np.array([1,np.nan,3,4])

  val.sum,max,min  会将nan的影响算进去

  np.nansum(val) ,nanmax,nanmin 忽略nan的影响

  

  data= pd.Series([1,np.nan,'hello',None])

  发现缺失值:

  data.isnull()

  data[data.notnull()]

  剔除缺失值:

  data.dropna()

  df = pd.DataFrame([[1,np.nan,2],

           [2,3,5],

           [np.nan,4,6]])

  df.dropna()    删除含有缺失值的整行数据   ,axis=1或axis='columns' 删除整列数据

  df[3] = np.nan

  df.dropna(axis='columns',how='all)   all表示删除全是缺失值的那行,any表示有缺失值就删除

  df.dropna(axis='row',thresh=3)  表示最少含有3个非缺失值的行才会被保留

  填充缺失值:

  data=pd.Series([1,np.nan,2,None,3],index=list('avcde'))

  data.fillna(0)  缺失值用0填充

  data.fillna(method='ffill')  用缺失值前面的有效值填充,bfill用后面的有效值填充

  data.fillna(method='ffill',axis=1)  每行的前面有效值填充

  如果缺失值前面没有值,那么仍然是缺失值