第一
环境搭建
1. 使用pip安装pandas, numpy， scipy， matplotlib， ipython
注意：首先需要安装venv（不然在下面的安装过程中会提示很多的错误，使用pycharm开发ide默认会安装好venv）
sudo pip install pandas
sudo pip install numpy
sudo pip install scipy
sudo pip install matplotlib
sudo pip install ipython
2. 使用easy_install安装pandas，numpy, scipy，matplotlib，ipython
sudo easy_install pandas
sudo easy_install numpy
sudo easy_install scipy
sudo easy_install matplotlib
sudo easy_install ipython
3. 使用源代码安装pandas，numpy，scipy，matplotlib，ipython（安装最新版本时推荐使用该方法）
git clone git://github.com/pydata/pandas.git
cd pandas
python setup.py install
git clone git://github.com/numpy/numpy.git numpy
cd numpy
python setup.py install
git clone http://github.com/scipy/scipy.git scipy
cd scipy
python setup.py install
git clone git://gtihub.com/matplotlib/matplotlib.git
cd matplotlib
python setup.py install
git clone --recursive https://github.com/ipython/ipython.git
cd ipython
python setup.py install
例：分别使用python和numpy进行相同的矩阵加法运算，比较两者的代码运行的时间长度
代码如下：
#!/usr/bin/env/python
from datetime import datetime
import numpy as np
def square_sum_python(n):
a = range(n)
b = range(n)
c = []
for i in range(len(a)):
a[i] = i ** 2
b[i] = i ** 3
c.append(a[i] + b[i])
return c
def square_sum_numpy(n):
a = np.arange(n) ** 2
b = np.arange(n) ** 3
c = a + b
return c
n = 10000
begin_at = datetime.now()
result = square_sum_python(n)
end_at = datetime.now()
time_len = end_at - begin_at
print 'running python code', time_len.microseconds
print 'sum of running python code', result[-3:]
begin_at = datetime.now()
result = square_sum_numpy(n)
end_at = datetime.now()
time_len = end_at - begin_at
print 'running numpy code', time_len.microseconds
print 'sum of running numpy code', result[-3:]
当计算的矩阵的长度为100时，两者代码运行花费的时间复杂度基本一致；当矩阵的长度为1000，10000时，numpy的运行的时间是python的十分之一甚至百分之一
4. ipython的作用
a.保存会话
%logstart
%hist -g thedate
%logoff
b. 执行系统shell命令
thedate = !date
thedate
c.显示历史命令
%hist
%hist -g thedate
d.作为学习手册
首先要安装readline，使用pip install readline或者easy_install readline安装即可
安装完成之后使用ipython -pylab打开ipython，输入help+空格+函数的一部分+Tab键；或者输入函数全名+问号+回车
第二
numpy的基本用法
1.numpy创建矩阵并选择元素
例如：
a = array(array(1,2), array(3,4))
print a
print a[0][0]
print a[0][1]
print a[1][0]
print a[1][1]
a.dtype
a.shape
2. numpy的数值类型
bool
int8/int16/int32/int64/inti/uint8/uint16/uint32/uint64
float32/float64/float
complex64/complex128
3.numpy处理数组的形状
一维数组转化为多维数组
multi_arr = np.arange(24).reshape(2,3,4)
多维数组转化为一维数组
one_arr = multi_arr.ravel()
one_arr = multi_arr.flatten()
调整数组的形状
multi_arr.shape = (6,4) //使用属性的方式更改shape
multi_arr.resize(6,4) //返回值为void，不生成新的数组
other_multi_arr = multi_arr.reshape(4,6) //改变shape，并返回新的数组
other_multi_arr = multi_arr.transpose() //返回转置
4. 堆叠数组
水平堆叠（x堆叠／列堆叠）hstack((a, b)) column_stack((a, b))
垂直堆叠（y堆叠／行堆叠）vstack((a, b)). row_stack((a, b))
纵向堆叠（z堆叠／深度堆叠）dstack((a, b))
例如：
import numpy as np
A = np.arange(9).reshape(3,3)
B = A * 2
H = np.hstack((A,B))
C = np.column_stack((A,B))
V = np.vstack((A,B))
R = np.row_stack((A,B))
D = np.dstack((A,B))
5.拆分数组
水平拆分（横向拆分）（沿着x轴进行拆分）hstack(a, 3)
垂直拆分（纵向拆分）（沿着y轴进行拆分）vstack(a,3)
沿着z轴进行拆分 dstack(a,3)
例如：
import numpy as np
A = np.arange(9).reshape(3,3)
H = np.hsplit(A,3)
V = np.vsplit(A,3)
6.numpy数组的属性
返回维度的数量 ndim
返回元素的数量 size
返回单个元素占用字节数 itemsize
返回所有元素占用字节数 nbytes
返回转置矩阵 T 或者transpose()
返回实部 real
返回虚部 imag
设置某个元素的值 A.flat[[m,n]] = value
获取某个元素的值 A.flat[[m,n]]
设置所有元素的值 A.flat = value
获取所有元素的值 A.flat
7.numpy数组的转换
将numpy数组转换为python列表
例如：
import numpy as np
A = np.arange(9).reshape(3,3);
a_list = A.tolist()
转换numpy数组元素的类型
例如：
import numpy as np
A = np.arange(9).reshape(3,3)
B = A.astype(complex)
8.创建数组的视图和副本
注意：对本源的修改，视图也会跟着修改，而副本不会被修改
例如：
import scipy.misc
import matplotlib.pyplot as plt
lena = scipy.misc.lena()
lena_view = lena.view()
lena_copy = lena.copy()
9.numpy数组的广播
例如：一个wav音频文件进行放大处理，这时相当于矩阵与常数的乘法
#!/usr/bin/env/python
import numpy as np
import urllib2
import scipy.io.wavfile
import matplotlib.pyplot as plt
response = urllib2.urlopen("http://www.thesoundarchive.com/austinpowers/smashingbaby.wav")
print response.info()
WAV_FILE = 'smashingbaby.wav'
file_handler = open(WAV_FILE, 'w')
file_handler.write(response.read())
file_handler.close()
sample_rate,data = scipy.io.wavfile.read(WAV_FILE)
print data.dtype
print data.shape
print data.size
print data
plt.subplot(2,1,1)
plt.title("The First")
plt.plot(data)
new_data = data * 2
new_data = new_data.astype(np.uint8)
print new_data.dtype
print new_data.shape
print new_data.size
print new_data
plt.subplot(2,1,2)
plt.title("The second")
plt.plot(new_data)
plt.show()
9.使用numpy对图片进行处理（实战）
例如：使用numpy对图片画对角线
#!/usr/bin/env/python import scipy.misc import matplotlib.pyplot as plt lena = scipy.misc.lena() shape = lena.shape x_max = shape[0] y_max = shape[1] lena[range(x_max), range(y_max)] = 0 lena[range(x_max-1, -1, -1), range(y_max)] = 0 plt.imshow(lena) plt.show()
例如：使用numpy打乱图片
#!/usr/bin/env/python import scipy.misc import matplotlib.pyplot as plt import numpy as np def shuffle_arr(size): arr = np.arange(size) np.random.shuffle(arr) return arr lena = scipy.misc.lena() x_max = lena.shape[0] y_max = lena.shape[1] x_arr = shuffle_arr(x_max) y_arr = shuffle_arr(y_max) plt.imshow(lena[np.ix_(x_arr, y_arr)]) plt.show()
第三
numpy与线性代数
获取程序包的版本号使用__version__属性
获取程序包的路径使用__path__属性
#!/usr/bin/env/python
import numpy as np
import scipy as sp
import matplotlib as mpl
def get_version():
print "version of numpy is", np.__version__
print "version of scipy is", sp.__version__
print "version of matplotlib is", mpl.__version__
def get_path():
print "path of numpy is", np.__path__
print "path of scipy is", sp.__path__
print "path of matplotlib is", mpl.__path__
get_version()
get_path()
2.使用numpy进行统计计算
例如：使用numpy计算最大值，最小值，平均值，中位数，标准差
#!/usr/bin/env/python import numpy as np data = np.arange(24).reshape(3,8) print "max is", data.max() print "max is", np.max(data) print "min is", data.min() print "min is", np.min(data) print "averge is", data.mean() print "averge is", np.mean(data) print "median is", np.median(data) print "sta is ", data.std() print "sta is", np.std(data)
3.运用numpy求解矩阵的逆
注意，numpy数组和矩阵是两个不同的概念；
首先使用np.mat()函数定义一个矩阵；再使用np.linalg.inv(A)计算A的逆；最后检验两者的乘是不是单位矩阵
#!/usr/bin/env /python
import numpy as np
A = np.mat("1 -2 1; 0 2 -8; -4 5 9")
print A
A_inv = np.linalg.inv(A)
print A_inv
check_result = A * A_inv
check_diff = A * A_inv - np.eye(3)
print check_result
print check_diff
5.计算矩阵的特征值和特征向量
#!/usr/bin/env/python
import numpy as np
A = np.mat("3 -2; 1 0")
eig_value = np.linalg.eigvals(A)
eig_value, eig_vector = np.linalg.eig(A)
print eig_value
print eig_vector
第四
使用pandas进行数据分析
1. 安装pandas
pandas的最小依赖集合为：
numpy，python-dateutil, pytz(专门处理时区问题的程序库)
使用pip安装pandas：
pip install pandas
使用easy_install安装pandas：
easy_install pandas
使用源代码安装pandas：
git clone git://github.com/pydata/pandas.git
cd pandas
python setup.py install
2.初步使用pandas的数组结构DataFrame（相当于numpy的数组）
创建DataFrame的方法有：
使用CSV来创建DataFrame
使用numpy数组来创建DataFrame
使用DataFrame来创建DataFrame
使用Series来创建DataFrame
首先下载案例csv文件，下载地址为http://www.exploredata.net/Downloads/WHO-Data-Set
代码如下：
#!/usr/bin/env/python
from pandas.io.parsers import read_csv
df = read_csv("WHO.csv")
print df
print "shape of dataframe:"
print df.shape
print "len of dataframe:"
print len(df)
print "columns of dataframe:"
print df.columns
print "dtypes of dataframe:"
print df.dtypes
print "index of dataframe:"
print df.index
print "values of dataframe:"
print df.values
3.使用pandas的数据结构Series
可以使用以下几种方式来创建Series：
使用python的dict来创建Series
使用numpy数组来创建Series
使用单个标量值来创建Series
案例代码如下所示：
#!/usr/bin/env/python
from pandas.io.parsers import read_csv
df = read_csv("WHO.csv")
print df
col_series_data = df["Country"]
print "one column of DataFrame:"
print col_series_data
print "type of one column of DataFrame:"
print type(col_series_data)
print "shepe of column of DataFrame:"
print col_series_data.shape
print "index of column of DataFrame:"
print col_series_data.index
print "value of column of DataFrame:"
print col_series_data.values
print "name of column of DataFrame:"
print col_series_data.name