Hadoop-2.4.1学习之Writable及事实上现
Hadoop基于DataInput和DataOutput实现了简单、高效的序列化协议,而Writable接口定义了Hadoop序列化的方法,MapReduce框架中的不论什么键值类型都实现了该接口,比方IntWritable、LongWritable等,具体的类关系见下图:通过上图可以发现,MapR...
Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性(一)
在Hadoop-2.x版本之前,HDFS集群中的NameNode是单点故障的,即整个集群中只存在一个NameNode,虽然存在SecondaryNameNode,但由于二者关于命名空间的数据有可能不一致,比如NameNode在两次检查点间隔之间出现问题,这势必会导致部分数据的丢失。如果...
hadoop学习【11】——hadoop-2.4.1集群真实环境部署文档
【前言】由于运气不错在学校机房申请得到了几台PC机用于尝试部署真实环境下的hadoop集群,花了几个小时的时间终于大功告成,现在将安装部署的详细步骤记录如下,希望对大家有所帮助! 一、机房环境描述: 1.1、PC配置: 4G内存 i3-2130处理器 主频:3.40GHz 硬盘:50...
Hadoop-2.4.1源码分析--MapReduce作业(job)提交源码跟踪
首先,在自己写的MR程序中通过org.apache.hadoop.mapreduce.Job来创建Job。配置好之后通过waitForCompletion()方法来提交Job。Hadoop版本是2.4.1。 进入waitForCompletion()方法,在判断状态st...