【文件属性】:
文件名称:hdfs-mount:将HDFS挂载为本地Linux文件系统的工具
文件大小:51KB
文件格式:ZIP
更新时间:2021-03-11 19:39:58
系统开源
hdfs挂载
允许将远程HDFS挂载为本地Linux文件系统,并允许任意应用程序/ Shell脚本以有效且安全的方式将HDFS作为普通文件和目录进行访问。
功能(计划中)
高性能
使用协议缓冲区直接为FUSE和HDFS连接Linux内核(不需要JavaVM)
针对吞吐量密集型工作负载进行了设计和优化(在可能的情况下,将吞吐量交换为延迟)
完整的流媒体和自动预读支持
并发操作
内存中元数据缓存(非常快ls!)
高稳定性和强大的故障处理行为
自动重试和故障转移,均可配置
在HDFS可用之前,可选的延迟安装
支持读写
支持随机写入[速度慢,但功能上正确]
支持文件截断
(可选)通过按需提取内容来扩展ZIP存档这为“ HDFS上的数百万个小文件”问题提供了有效的解决方案
CoreOS和Docker友好的可选打包为静态链接的独立可执行文件
当前状态
“阿尔法”正在积极发展中。 基本的R
【文件预览】:
hdfs-mount-master
----.travis.yml(242B)
----.gitmodules(146B)
----MockReadSeekCloserWithPseudoRandomContent_test.go(2KB)
----ZipFile.go(1KB)
----RandomAccessReader.go(4KB)
----Dir_test.go(7KB)
----Zip_test.go(5KB)
----FaultTolerantHdfsAccessor.go(5KB)
----HdfsAccessor.go(12KB)
----FaultTolerantHdfsReader_test.go(2KB)
----Attrs.go(1KB)
----HdfsReader.go(1KB)
----FileFragment.go(2KB)
----FileHandleReader_test.go(6KB)
----FaultTolerantHdfsWriter.go(1KB)
----ReaderStats.go(451B)
----HdfsWriter.go(2KB)
----FileHandleReader.go(5KB)
----Int32Min.go(266B)
----FileHandleWriter_test.go(6KB)
----File.go(5KB)
----ZipDir.go(5KB)
----LICENSE(1KB)
----Version.go(313B)
----submodules()
--------colinmarc-hdfs()
----Clock_test.go(799B)
----FileHandleAsReadSeekCloser.go(1KB)
----FileHandleWriter.go(5KB)
----ReadSeekCloserFactory.go(355B)
----test.zip(2KB)
----main.go(4KB)
----Dir.go(9KB)
----ReadSeekCloser.go(565B)
----.gitignore(34B)
----Clock.go(696B)
----FileHandle.go(3KB)
----Makefile(2KB)
----FileSystem_test.go(2KB)
----FaultTolerantHdfsAccessor_test.go(3KB)
----Log.go(616B)
----README.md(2KB)
----RetryPolicy_test.go(2KB)
----RandomAccessReader_test.go(2KB)
----ZipFileHandle.go(2KB)
----FaultTolerantHdfsReader.go(3KB)
----RetryPolicy.go(4KB)
----FileSystem.go(4KB)