本章介绍pandas的重要功能，只记录一些重点内容
1、重新索引
pandas对象的一个重要方法是reindex，其作用是创建一个适应用新索引的新对象
#重新索引
obj = pd.Series([4.5, 7.2, -5.3, 3.6], index = ['d', 'b', 'a', 'c'])
obj
#调用该Series的reindex将会根据新索引进行重排。如果某个索引值当前不存在，就引入缺失值
obj2 = obj.reindex(['a', 'b', 'c', 'd', 'e'])
obj2
obj.reindex(['a', 'b', 'c', 'd', 'e'], fill_value = 0)
#对于时间序列这样的有序数据，重新索引时可能需要做一些插值处理。method选项即可达到些目标
#使用ffill实现前向值填充
obj3 = pd.Series(['blue', 'purple', 'yellow'], index = [0, 2, 4])
obj3.reindex(range(6), method = 'ffill') #reindex的（插值）method选项
#ffill 或 pad 前向填充值； bfill 或 backfill 后向填充值
obj2.ix[['a']]
输出结果
obj = pd.Series([4.5, 7.2, -5.3, 3.6], index = ['d', 'b', 'a', 'c']) obj
Out[15]:
d 4.5
b 7.2
a -5.3
c 3.6
dtype: float64
obj2 = obj.reindex(['a', 'b', 'c', 'd', 'e']) obj2
Out[17]:
a -5.3
b 7.2
c 3.6
d 4.5
e NaN
dtype: float64 obj.reindex(['a', 'b', 'c', 'd', 'e'], fill_value = 0)
Out[18]:
a -5.3
b 7.2
c 3.6
d 4.5
e 0.0
dtype: float64 obj3 = pd.Series(['blue', 'purple', 'yellow'], index = [0, 2, 4]) obj3.reindex(range(6), method = 'ffill')
Out[20]:
0 blue
1 blue
2 purple
3 purple
4 yellow
5 yellow
dtype: object obj2.ix[['a']]
Out[21]:
a -5.3
dtype: float64
reindex函数的参数
2、丢弃指定轴上的项
丢弃某条轴上的一个或多个项很简单，只要有一个索引数组或列表即可。
drop方法返回的是一个在指定轴上删除了指定值的新对象
#定义一个数组，索引为 ['a', 'b', 'c', 'd', 'e']
obj = pd.Series(np.arange(5.), index = ['a', 'b', 'c', 'd', 'e'])
obj
new_obj = obj.drop('c')
new_obj
obj.drop(['d', 'c'])
#对DataFrame, 可以删除任意轴上的索引值
3、索引、选取和过滤
为了在DataFrame的行上进行标签索引，引入专门的索引字段ix，可以通过NumPy式的标记法以及轴标签从DataFrame中选取行和列的子集。
#为了在DataFrame的行上进行标签索引，引入专门的索引字段ix，可以通过NumPy式的标记法以及轴标签从DataFrame中选取行和列的子集。
data = pd.DataFrame(np.arange(16).reshape((4, 4)), \
index = ['Ohio', 'Colorado', 'Utah', 'New York'], \
columns = ['one', 'two', 'three', 'four'])
data data.ix['Colorado', ['two', 'three']]
data.ix[['Colorado', 'Utah'], [3, 0, 1]]
#3,0,1代表列标识
data.ix[2]
#第2行
data.ix[:'Utah', 'two']
data.ix[data.three>5, :3]
注意：在设计pandas时， 我觉得必须输入frame[:, col]才能选取列实在有些啰嗦，而且还很容易出错，因为列的选取是一种最常见的操作
于是，我就把所有的标签索引功能都放在ix中了
DataFrame的索引选项
4、算术运算和数据对齐
pd最重要的一个功能是，它可以对不同索引的对象进行算术运算。在将对象相加时，如果存在不同的索引对，则结果的索引就是该索引对的并集
#算术运算和数据对齐
s1 = pd.Series([7.3, -2.5, 3.4, 1.5], index = ['a', 'c', 'd', 'e'])
s2 = pd.Series([-2.1, 3.6, -1.5, 4, 3.1], index = ['a', 'c', 'e', 'f', 'g'])
s1, s2
s1 + s2
#list('bcd'),相当于列元素，b, c, d
df1 = pd.DataFrame(np.arange(9).reshape((3, 3)), columns = list('bcd'), index = \
['Ohio', 'Texas', 'Colorado'])
df2 = pd.DataFrame(np.arange(12).reshape((4, 3)), columns = list('bde'), index = ['Utah', 'Ohio', 'Texas', 'Oregon'])
df1, df2
df1 + df2 #在算术方法中填充值
df1 = pd.DataFrame(np.arange(12.).reshape((3, 4)), columns = list('abcd'))
df2 = pd.DataFrame(np.arange(20.).reshape((4, 5)), columns = list('abcde'))
df1
df2
#将它们相加时，没有重叠的位置会产生Na
df1 + df2 #使用df1的add方法，传入df2以及一个fill_value参数
df1.add(df2, fill_value = 0)
#在对Series或DataFrame重新索引时，也可以指定一个填充值
df1.reindex(columns = df2.columns, fill_value = 0)
灵活的算术方法
5、DataFrame和Series之间的运算
#DataFrame和Series之间的运算
arr = np.arange(12.).reshape((3, 4))
arr
arr[0]
arr - arr[0]
#以上叫做广播
#DataFrame和Series之间的运算示例
frame = pd.DataFrame(np.arange(12).reshape((4, 3)), columns = list('bde'), index = ['Utah', 'Ohio', 'Texas', 'Oregon'])
#选取标识为0的行，即第一行
series = frame.ix[0]
frame
series #默认情况下，DataFrame和Series之间的运算会将Series的索引匹配到DataFrame的列，然后沿着行一直向下广播
frame - series #如果找不到，则参与运算的两个对象就会被重新索引以形成并集
series2 = pd.Series(range(3), index = list('bef'))
series2
frame + series2
6、函数应用与映射
#函数应用和映射
frame = pd.DataFrame(np.random.randn(4, 3), columns = list('bde'), index = ['Utah', 'Ohio', 'Texas', 'Oregon'])
frame
np.abs(frame) #另一个常见的操作是，将函数应用到由各列或行所形成的一维数组上。DataFrame的apply方法即可实现功能
#x为输入值，x.max() - x.min()为输出值
f = lambda x: x.max() - x.min()
#输入列最大减最小
frame.apply(f)
#输入行最大减最小
frame.apply(f, axis = 1)
许多最为常见的数组都被实现 成DataFrame方法，如sum和mean，因此无需使用apply方法
除标量值外，传递给apply的函数还可以返回由多个值 组成的Series
def f(x):
return pd.Series([x.min(), x.max()], index = ['min', 'max'])
#还是调用行
frame.apply(f) frame.apply(f)
Out[82]:
b d e
min -2.460592 -0.224366 -0.474713
max 0.102727 0.183401 0.485874
#可以尝试一下调用列
frame.apply(f, axis = 1)
Out[83]:
min max
Utah -1.158899 0.201939
Ohio -0.162430 0.485874
Texas -0.474713 -0.112733
Oregon -2.460592 0.183401
#此外，元素级的python函数也是可以用的，假如你想得到frame中各个浮点值的格式化字符串，使用applymap即可
#输入元素x为两位小数的浮点字符
format = lambda x: '%.2f' % x
frame.applymap(format)
format = lambda x: '%.2f' % x frame.applymap(format)
Out[85]:
b d e
Utah -1.16 -0.22 0.20
Ohio 0.10 -0.16 0.49
Texas -0.22 -0.11 -0.47
Oregon -2.46 0.18 0.16
之所以中到applymap, 是因为Series有一个用于应用元素级函数的map方法：
#之所以中到applymap, 是因为Series有一个用于应用元素级函数的map方法：
#指定e列
frame['e'].map(format)
Out[86]:
Utah 0.20
Ohio 0.49
Texas -0.47
Oregon 0.16
Name: e, dtype: object
7、排序与排名
根据条件对数据集排序 也是一种重要的内置运算。要对行或列索引进行排序，可使用sort_index方法，它将返回一个已排序的新对象
#排序和排名
obj = pd.Series(range(4), index = ['d', 'a', 'b', 'c'])
obj.sort_index()
obj.sort_index()
Out[88]:
a 1
b 2
c 3
d 0
dtype: int32
#根据任意一个轴上的索引进行排序
frame = pd.DataFrame(np.arange(8).reshape((2, 4)), index = ['three', 'one'], columns = ['d', 'a', 'b', 'c'])
frame
#按行索引进行排序
frame.sort_index()
#按列索引进行排序
frame.sort_index(axis = 1)
#数据默认是按升序排序的，但也可以降序排序
frame.sort_index(axis =1, ascending = False)
#若要按值对Series进行排序，可使用其order方法
obj = pd.Series([4, 7, -3, 2])
obj
obj.order() #在排序时，任何缺失 值默认都会被放到Series的末尾
obj = pd.Series([4, np.nan, 7, np.nan, -3, 2])
obj
obj.order()
#希望根据一个或多个列中的值进行排序，将一个或多个列的名字传递给by选项即可
frame = pd.DataFrame({'b':[4, 7, -2, 3], 'a':[0, 1, 0, -1]})
frame
frame.sort_index(by = 'b')
#根据a, b进行排序
frame.sort_index(by = ['a', 'b'])
排名跟排序关系密切，且它会增设一个排名值（从1开始， 一直到数组中有效数据的数量）
它跟numpy.argsort产生的间接排序索引差不多，只不过它可以根据某种规则破坏平级关系。
接下来介绍rank 方法。默认情况下，rank是通过“为各组分配一个平均排名”的方式破坏平级关系的
#排名，rank方法
obj = pd.Series([7, -5, 7, 4, 2, 0 ,4])
obj
obj.rank()
obj.rank()
Out[107]:
0 6.5
1 1.0
2 6.5
3 4.5
4 3.0
5 2.0
6 4.5
dtype: float64
#也可以根据值在原数据中出现的顺序给出排名
obj.rank(method = 'first') obj.rank(method = 'first')
Out[108]:
0 6.0
1 1.0
2 7.0
3 4.0
4 3.0
5 2.0
6 5.0
dtype: float64
#按降序进行排名
obj.rank(ascending = False, method = 'max') obj.rank(ascending = False, method = 'max')
Out[109]:
0 2.0
1 7.0
2 2.0
3 4.0
4 5.0
5 6.0
6 4.0
dtype: float64
8、带有重复值的轴索引
以上介绍的所有范例都有着唯一的轴标签（索引值）。虽然许多pd函数（如reindex）都要求标签唯一，但这并不是强制性的
#带有重复值的轴索引
obj = pd.Series(range(5), index = ['a', 'a', 'b', 'b', 'c'])
obj
#索引的is_unique属性可以告诉你它的值是唯一的
obj.index.is_unique
obj.index.is_unique
Out[112]: False
对于带有重复值的索引，数据选取的行为将会有些不同，如果某个索引对应多个值，则返回一个Series；而对应单个值的，则返回一个标量值
#对DataFrame的行进行索引时也是如此
df = pd.DataFrame(np.random.randn(4, 3), index = ['a', 'a', 'b', 'b'])
df
df.ix['b']
df
Out[116]:
0 1 2
a 0.747649 2.128339 -1.192042
a 0.479568 1.813696 -0.197266
b 0.340015 -0.187988 1.244151
b -1.858814 -0.188538 -0.985478 df.ix['b']
Out[117]:
0 1 2
b 0.340015 -0.187988 1.244151
b -1.858814 -0.188538 -0.985478
上面介绍 了pandas数据处理的基础知识，以后可以查阅并参考，接下来将pandas汇总和计算描述统计进行梳理