文件名称:hadoop-lzo-master.zip
文件大小:1014KB
文件格式:ZIP
更新时间:2019-04-28 17:21:11
hadoop lzo
Hadoop经常用于处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压。LZO库实现了许多有下述特点的算法: (1)、解压简单,速度非常快。 (2)、解压不需要内存。 (3)、压缩相当地快。 (4)、压缩需要64 kB的内存。 (5)、允许在压缩部分以损失压缩速度为代价提高压缩率,解压速度不会降低。 (6)、包括生成预先压缩数据的压缩级别,这样可以得到相当有竞争力的压缩比。 (7)、另外还有一个只需要8 kB内存的压缩级别。 (8)、算法是线程安全的。 (9)、算法是无损的。
【文件预览】:
hadoop-lzo-master
----.gitattributes(198B)
----COPYING(34KB)
----src()
--------test()
--------main()
----scripts()
--------get_build_revision.sh(598B)
----.travis.yml(333B)
----README.md(10KB)
----pom.xml(19KB)
----.gitignore(869B)
----.archive-version(41B)