Python/Numpy大数据编程经验
1.边处理边保存数据，不要处理完了一次性保存。不然程序跑了几小时甚至几天后挂了，就啥也没有了。即使部分结果不能实用，也可以分析程序流程的问题或者数据的特点。
2. 及时用 del 释放大块内存。Python缺省是在变量范围（variablescope）之外才释放一个变量，哪怕这个变量在后面的代码没有再被用到，所以需要手动释放大的array。
注意所有对数组的引用都del之后，数组才会被del。这些引用包括A[2:]这样的view，即使np.split也只是创建了view，没有真的把内存分到不同的array里。
3. 矩阵点乘对角阵，用逐行乘可以快几十、几百倍：M.dot( diag(v) ) -> M*v。
4. 尽量重用内存。比如
sqrtW = np.sqrt(W)
(W以后再没有用到了)
这样多了分配sqrtW内存的时间
可以改写成
np.sqrt(W,W) # in placesqrt
sqrtW = W # take auser-friendly name as its reference
类似的
A = B + C # B is neverused later
可以改写成
B += C; A = B
4. 用 ipython 的 run -p prog.py 做profiling，找出耗时最多的语句。
也可以实现简单的Timer类，打印出耗时流程使用的时间。
5. 把实际代码高度简化，只留下使用相同大小的内存和相同多的运算的skeleton，来事先评估算法的时间和空间复杂度。而且可以分块评估。比如
…… complex and slowroutine to compute V11, Wsum, Gwmean ......
for i in xrange(noncore_size):
wi = Wsum[ i ]
VW = V11.T* wi
VWV =VW.dot(V11)
V21[ i] =np.linalg.inv(VWV).dot( VW.dot(Gwmean[ i]) )
可以写个test.py，用 np.random.randn() 随机初始化 V11,Wsum, Gwmean，然后执行这个代码块，看出大致所需内存和每个循环的时间，避免了执行之前漫长的计算这些变量的时间。
6.如果是windows，把windows自动安装更新的选项关掉。不然可能跑了一夜程序，收结果时一看，windows自动重启过了……哭