【python】numpy pandas 特性(随时更新)

时间:2022-11-19 14:50:25

【array相加的维度规律】【广播】

(2,3) 能和 (3,) 相加,不能和(2,)相加

(2,3) 能和 (2, 1) (1, 3)相加,

同理,对于三维数组来说

(2, 3, 4)能和(4, ) (3,4)相加 —— 高维和低维相加的时候,低维默认是从后面数的维数

(2,3,4)能和(2,3,1) (2,1,4) (1,3,4)相加

(2,3,4)能和(2,1,1) (1,3,1) (1,1,4)相加

 

【panel取出dataFrame的index和columns问题】

假设(2,3,4)的panel([0,1], [a,b,c], [d,e,f,g])

按第一维取, 没问题([a,b,c], [d,e,f,g])

按第二维取,第三维是Index ([d,e,f,g], [0,1])

按第三维取,第二维是Index ([a,b,c], [0,1])

 

【按条件取数组】

df1[df2 == 0.], 那么df2 !=  0.的部分会置为np.nan

 

【numpy数组合并】

1、横向

>>> np.hstack((a,b))
>>> np.concatenate((a,b),axis=1)

2、纵向

>>> np.vstack((a,b))
>>> np.concatenate((a,b),axis=0)

【添加记录与记录合并】

dataFrame添加一条记录:df.loc[index] = columnsList

dataFrame记录合并:df = df.append(df2, ignore_index=True)

 

【2维数据转化为3维数组】

df1 = df[None, :]
等价于df1 = df.reshape(1, x, x)

df2 = np.repeat(df1, n, axis=0)

 

【3维数据转化为2维数据】

pd.Panel().to_frame()

但是比较大的数据可能会出问题。

如果使用numpy, 比如转换 n * m * 3的数据为 3 * (n*m) 的数据:

参考https://*.com/questions/32838802/numpy-with-python-convert-3d-array-to-2d

首先使用 np.transpose 把 n * m * 3 转换为 3 * n * m,data.transpose(2, 0, 1)

然后用reshape(3, -1)解决。

 

【numpy drop na】

drop列

xNew1 = xNew[:, ~(np.isnan(xNew).all(axis=0))]

drop行

xNew1 = xNew[~(np.isnan(xNew).all(axis=1))]

 

【按天操作】

df.resample('d').sum()

 

【ewma的用法】

alpha = 1 / (1+com) = 2 / (1+span) = 1 - exp(log(0.5) / halflife)

对于span=3来说

x = range(n)

y大致上为x-1,因此相当于最新3个平均

 

如果adjust:(default)

weights:   (1-alpha)**(n-1) , ... , (1-alpha), 1 加权

如果alpha=1, 那么等于本身

如果alpha=0, 那么等于平均

如果n足够大, alpha=1/2,  那么权重为1/2, 1/4, 1/8 ...

如果n足够大,alpha=1/3 那么权重为1/3, 2/9, 4/27 ...

alpha越大, 本身的权重越大。

如果不adjust:

weights: y[i] = alpha * x[i] + (1 - alpha) * y[i-1], y[0] = x[0]

 

 

【精度问题】

(x - x.mean()).sum() 不为0...

尽量不要这么做, 正确做法是 x.sum() - blahblah,这样精度损失比较小。。。

一般来讲一个数精度大致上是-30量级的, 但是很多会到-17这个量级。。要知道Mean才只是-14量级啊。。。

讲真真的是智障。。。

 

【一些trick】

panel当dtype不是object的时候,.loc = xxx 会出现奇怪的问题。

 

【按index排序】

sort_index