mgzip:Python gzip模块的多线程实现

时间:2021-05-23 01:15:27
【文件属性】:
文件名称:mgzip:Python gzip模块的多线程实现
文件大小:56KB
文件格式:ZIP
更新时间:2021-05-23 01:15:27
Python 邮编 Python gzip模块的多线程实现 使用块索引的GZIP文件格式来启用并行压缩和解压缩。 该工具使用“ FEXTRA”来记录压缩成员的索引,该索引在官方GZIP文件格式规范版本4.3中定义,因此它与常规GZIP工具完全兼容。 使用24个CPU的计算机,此模块的压缩速度快约25倍,解压缩速度快约7倍(受IO和Python实现限制)。 从理论上讲,压缩和解压缩加速度应根据CPU内核呈线性关系。 实际上,性能受到IO和程序语言实现的限制。 用法 使用与gzip模块相同的方法 import mgzip s = "a big string..." ## Use 8 threads to compress. ## None or 0 means using all CPUs (default) ## Compression block size is set to 200MB with
【文件预览】:
mgzip-master
----CompressionBenchmark.png(32KB)
----DecompressionBenchmark.png(14KB)
----test.py(2KB)
----.vscode()
--------launch.json(487B)
----gzipFormat.txt(18KB)
----LICENSE(1KB)
----setup.py(1KB)
----README.md(2KB)
----.gitignore(1KB)
----mgzip()
--------multiProcGzip.py(26KB)
--------__init__.py(372B)
--------__main__.py(789B)

网友评论