python学习--大数据与科学计算第三方库简介

时间:2021-02-02 10:13:04

大数据与科学计算

 库名称

简介

pycuda/opencl

GPU高性能并发计算
Pandas python实现的类似R语言的数据统计、分析平台。基于NumPy和Matplotlib开发的,主要用于数据分析和数据可视化,它的数据结构DataFrame和R语言里的data.frame很像,特别是对于时间序列数据有自己的一套分析机制,非常不错。
Open Mining 商业智能(BI),Pandas的Web界面。
blaze NumPy和Pandas大数据界面。
SciPy 开源的Python算法库和数学工具包,SciPy包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。其功能与软件MATLAB、Scilab和GNU Octave类似。 Numpy和Scipy常常结合着使用,Python大多数机器学习库都依赖于这两个模块。

ScientificPython

一组经过挑选的Python程序模块,用于科学计算,包括几何学(矢量、张量、变换、矢量和张量场),四元数,自动求导数,(线性)插值,多项式,基础统计学,非线性最小二乘拟合,单位计算,Fortran兼容的文本格式,通过VRML的3D显示,以及两个Tk小工具,分别用于绘制线图和3D网格模型。此外还具有到netCDF,MPI和BSPlib库的接口。
NumPy 科学计算库,提供了矩阵,线性代数,傅立叶变换等等的解决方案, 最常用的是它的N维数组对象. NumPy提供了两种基本的对象:ndarray(N-dimensional array object)和 ufunc(universal function object)。ndarray是存储单一数据类型的多维数组,而ufunc则是能够对数组进行处理的函数。
Cvxopt 最优化计算包,可进行线性规划、二次规划、半正定规划等的计算。
Numba 科学计算速度优化编译器。
pymvpa2 是为大数据集提供统计学习分析的Python工具包,它提供了一个灵活可扩展的框架。它提供的功能有分类、回归、特征选择、数据导入导出、可视化等
NetworkX 复杂网络的优化软件包。
zipline 交易算法的函数库。
PyDy  Python动态建模函数库。
SymPy 符号数学的Python库。
statsmodels Python的统计建模和计量经济学。
astropy 天文学界的Python库。
orange 橙色,数据挖掘,数据可视化,通过可视化编程或Python脚本学习机分析。
RDKit 化学信息学和机器学习的软件。
Open Babel 巴贝尔,开放的化学工具箱。
cclib 化学软件包的计算函数库。
Biopython 免费的生物计算工具包。
bccb 生物分析相关的代码集。
bcbio-nextgen 提供完全自动化、高通量、测序分析的工具包。
visvis 可视化计算模块库,可进行一维到四维数据的可视化。
MapReduce 是Google提出的一个软件[架构],用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归纳)”,及他们的主要思想,都是从函数式编程语言借来的MapReduce函数库。Framworks and libraries for MapReduce.,
PySpark [Spark]的Python API。
dpark Spark的Python克隆,Python中的MapReduce框架。
luigi 为批量工作,建立复杂的管道。
mrjob 运行在[Hadoop],或亚马逊网络服务的,MapReduce工作。