为hadoop集群中单个datanode添加硬盘

最近实验室的小集群当中的一个datanode硬盘容量快用完了，考虑着要加块1T的新硬盘，但是却被这么一个小问题折腾了好一会才解决，特地在此记录一下，希望为看到这篇文章的朋友们节约宝贵的时间。

Ubuntu环境下挂载新硬盘

这篇帖子已经写得很详细了，写得很不错，在Ubuntu环境下挂载新硬盘可以看这篇。

唯一有点区别的是“硬盘在系统启动自动挂载”这一部分。我的配置为：

/dev/sdb  /home/hadoop/hdp-data/data1/hdfs ext4 defaults 0 0

修改hdfs-site.xml文件

• 给被挂载的目录赋予权限
  sudo chown -R hadoop:hadoop /home/hadoop/hdp-data/data1/hdfs

• 修改hdfs-site.xml

  <property>
  <name>dfs.datanode.data.dir</name>
  <value>
      file:/opt/hadoop-2.7.2/tmp/dfs/data,
      file:/home/hadoop/hdp-data/data1/hdfs
  </value>
  </property>

  注：用“，”将新旧目录隔开
  如果你有HBase的话，也需要在 conf/hdfs-site.xml 中做相同更改

检测

启动dfs和yarn之后，执行如下命令：

• ./bin/hdfs dfsadmin -report

查看需要添加hdfs容量的节点，容量是否有增加。