Python/Numpy大数据编程经验

时间:2022-01-08 00:56:44

Python/Numpy大数据编程经验

1.边处理边保存数据,不要处理完了一次性保存。不然程序跑了几小时甚至几天后挂了,就啥也没有了。即使部分结果不能实用,也可以分析程序流程的问题或者数据的特点。
 
2. 及时用 del 释放大块内存。Python缺省是在变量范围(variablescope)之外才释放一个变量,哪怕这个变量在后面的代码没有再被用到,所以需要手动释放大的array。
   注意所有对数组的引用都del之后,数组才会被del。这些引用包括A[2:]这样的view,即使np.split也只是创建了view,没有真的把内存分到不同的array里。
 
3. 矩阵点乘对角阵,用逐行乘可以快几十、几百倍:M.dot( diag(v) ) -> M*v。
 
4. 尽量重用内存。比如
    sqrtW = np.sqrt(W)
    (W以后再没有用到了)
    这样多了分配sqrtW内存的时间
   可以改写成 
    np.sqrt(W,W) # in placesqrt
    sqrtW = W # take auser-friendly name as its reference
    类似的
    A = B + C # B is neverused later
   可以改写成 
    B += C; A = B
 
4. 用 ipython 的 run -p prog.py 做profiling,找出耗时最多的语句。
   也可以实现简单的Timer类,打印出耗时流程使用的时间。
 
5. 把实际代码高度简化,只留下使用相同大小的内存和相同多的运算的skeleton,来事先评估算法的时间和空间复杂度。而且可以分块评估。比如
    …… complex and slowroutine to compute V11, Wsum, Gwmean ......
       for i in xrange(noncore_size):
           wi = Wsum[ i ]
           VW = V11.T* wi
           VWV =VW.dot(V11)
           V21[ i] =np.linalg.inv(VWV).dot( VW.dot(Gwmean[ i]) )
  可以写个test.py,用 np.random.randn() 随机初始化 V11,Wsum, Gwmean,然后执行这个代码块,看出大致所需内存和每个循环的时间,避免了执行之前漫长的计算这些变量的时间。
 
6.如果是windows,把windows自动安装更新的选项关掉。不然可能跑了一夜程序,收结果时一看,windows自动重启过了……哭