踏着前人的脚印学Hadoop——结构、重点

时间:2023-03-09 07:22:06
踏着前人的脚印学Hadoop——结构、重点

HDFS作为一个分布式文件系统,是所有这些项目的基础。分析好HDFS,有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析。

如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法。

hdfs

HDFS,Hadoop的分布式文件系统实现

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

fs

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

参考:http://zhangyu8374.javaeye.com/blog/86306

io

表示层。将各种数据编码/解码,方便于在网络上传输

mapreduce

Hadoop的Map/Reduce实现

filecache

提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

参考:http://zhangyu8374.javaeye.com/blog/86306

io

表示层。将各种数据编码/解码,方便于在网络上传输

踏着前人的脚印学Hadoop——结构、重点