利用Numba与Cython结合提升python运行效率详解

时间:2022-05-14 19:35:34

Numba

Numba是一个即时(JIT)编译器,它将Python代码转换为用于CPU和GPU的本地机器指令。代码可以在导入时、运行时或提前编译。

通过使用jit装饰器,使用Numba非常容易:

利用Numba与Cython结合提升python运行效率详解

利用Numba与Cython结合提升python运行效率详解

正如你所知道的,在Python中,所有代码块都被编译成字节码:

利用Numba与Cython结合提升python运行效率详解

代码优化

为了优化Python代码,Numba从提供的函数中提取一个字节码,并在其上运行一组分析器。Python字节码包含一系列小而简单的指令,因此不必从Python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段,但Numba将Python字节码转换为LLVM中间表示 (IR)。

请注意,LLVM IR是一种低级编程语言,它类似于汇编语法,与Python无关。

Numba 模式

Numba中有两种模式:nopython 和 object。前者不使用Python运行时并且在没有Python依赖项的情况下生成本机代码。 本机代码是静态类型的,运行非常快。而对象模式使用Python对象和Python C API,这通常不会带来显著的速度改进。在这两种情况下,Python代码都是使用LLVM编译的。

什么是LLVM?

LLVM是一种编译器,它采用代码的特殊中间表示(IR),并将其编译成本机代码。编译过程涉及许多额外的传递,其中编译器优化IR。LLVM工具链很好地优化了IR,不仅为Numba编译代码,而且优化Numba。整个系统大致如下:

利用Numba与Cython结合提升python运行效率详解

Python numba 体系结构

Numba的优势:

  • 易用性
  • 自动并行化
  • 支持numpy操作和对象
  • GPU支持

Numba的劣势:

多层的抽象使得调试和优化变得非常困难

在nopython模式下无法与Python及其模块进行交互

有限的类支持

 

Cython

取代分析字节码和生成IR,Cython使用Python语法的超集,它后来转换成C代码。在使用Cython时,基本上是用高级Python语法编写C代码。

在Cython中,通常不必担心Python包装器和低级API调用,因为所有交互都会自动扩展到合适的C代码。

与Numba不同,所有的Cython代码应该在专门文件中与常规Python代码分开。Cython将这些文件解析并转换成C代码,然后使用提供的C编译器 (例如, gcc)编译它。

Python代码已经是有效的Cython代码。

利用Numba与Cython结合提升python运行效率详解

但是,类型版本工作得更快。

利用Numba与Cython结合提升python运行效率详解

利用Numba与Cython结合提升python运行效率详解

编写快速Cython代码需要理解C和Python内部结构。如果你熟悉C,你的Cython代码可以运行得和C代码一样快。

Cython的优势:

  • 通过Python API的使用控制
  • 与C/C++库和C/C++代码的简单接口
  • 并行执行支持
  • 支持Python类,在C中提供面向对象的特性

Cython的劣势:

  • 学习曲线
  • 需要C和Python内部专业技术
  • 模块的组织不方便

 

Numba 对 Cython

就个人而言,我更喜欢小项目和ETL实验用Numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为C库编写包装器,我将使用Cython,因为它提供更多的控制和更容易调试。

此外,Cython是许多库的标准,如pandas、scikit-learn、scipy、Spacy、gensim和lxml。

以上就是利用Numba与Cython结合提升python运行效率详解的详细内容,更多关于提升python运行效率的资料请关注服务器之家其它相关文章!

原文链接:https://blog.csdn.net/python_9988/article/details/120164167