【array相加的维度规律】【广播】
(2,3) 能和 (3,) 相加,不能和(2,)相加
(2,3) 能和 (2, 1) (1, 3)相加,
同理,对于三维数组来说
(2, 3, 4)能和(4, ) (3,4)相加 —— 高维和低维相加的时候,低维默认是从后面数的维数
(2,3,4)能和(2,3,1) (2,1,4) (1,3,4)相加
(2,3,4)能和(2,1,1) (1,3,1) (1,1,4)相加
【panel取出dataFrame的index和columns问题】
假设(2,3,4)的panel([0,1], [a,b,c], [d,e,f,g])
按第一维取, 没问题([a,b,c], [d,e,f,g])
按第二维取,第三维是Index ([d,e,f,g], [0,1])
按第三维取,第二维是Index ([a,b,c], [0,1])
【按条件取数组】
df1[df2 == 0.], 那么df2 != 0.的部分会置为np.nan
【numpy数组合并】
1、横向
>>> np.hstack((a,b))
>>> np.concatenate((a,b),axis=1)
2、纵向
>>> np.vstack((a,b))
>>> np.concatenate((a,b),axis=0)
【添加记录与记录合并】
dataFrame添加一条记录:df.loc[index] = columnsList
dataFrame记录合并:df = df.append(df2, ignore_index=True)
【2维数据转化为3维数组】
df1 = df[None, :]
等价于df1 = df.reshape(1, x, x)
df2 = np.repeat(df1, n, axis=0)
【3维数据转化为2维数据】
pd.Panel().to_frame()
但是比较大的数据可能会出问题。
如果使用numpy, 比如转换 n * m * 3的数据为 3 * (n*m) 的数据:
参考https://*.com/questions/32838802/numpy-with-python-convert-3d-array-to-2d
首先使用 np.transpose 把 n * m * 3 转换为 3 * n * m,data.transpose(2, 0, 1)
然后用reshape(3, -1)解决。
【numpy drop na】
drop列
xNew1 = xNew[:, ~(np.isnan(xNew).all(axis=0))]
drop行
xNew1 = xNew[~(np.isnan(xNew).all(axis=1))]
【按天操作】
df.resample('d').sum()
【ewma的用法】
alpha = 1 / (1+com) = 2 / (1+span) = 1 - exp(log(0.5) / halflife)
对于span=3来说
x = range(n)
y大致上为x-1,因此相当于最新3个平均
如果adjust:(default)
weights: (1-alpha)**(n-1) , ... , (1-alpha), 1 加权
如果alpha=1, 那么等于本身
如果alpha=0, 那么等于平均
如果n足够大, alpha=1/2, 那么权重为1/2, 1/4, 1/8 ...
如果n足够大,alpha=1/3 那么权重为1/3, 2/9, 4/27 ...
alpha越大, 本身的权重越大。
如果不adjust:
weights: y[i] = alpha * x[i] + (1 - alpha) * y[i-1], y[0] = x[0]
【精度问题】
(x - x.mean()).sum() 不为0...
尽量不要这么做, 正确做法是 x.sum() - blahblah,这样精度损失比较小。。。
一般来讲一个数精度大致上是-30量级的, 但是很多会到-17这个量级。。要知道Mean才只是-14量级啊。。。
讲真真的是智障。。。
【一些trick】
panel当dtype不是object的时候,.loc = xxx 会出现奇怪的问题。
【按index排序】
sort_index