Hadoop DataNode 节点的动态添加和动态删除

时间:2023-12-10 10:07:20

动态添加 DataNode 节点

  • hadoop环境是必须的

  • 需要加入新的 DataNode 节点,前提是已经配置好 SSH 无密登录;直接复制已有DataNode中.ssh目录中的authorizedkeys和idrsa。

  • 在新DataNode上启动hadoop

    hadoop-daemon.sh start datanode

    yarn-daemon.sh start datanode

  • 在NameNode上刷新节点

    hdfs dfsadmin -refreshNodes

    数据平衡使用: start-balancer.sh

  • 为方便下次启动,可以将新DataNode的域名和ip加入 /etc/hosts 中

动态删除 DataNode 节点

http://blog.csdn.net/qq_36617639/article/details/79496288

hdfs重新format之后,导致datanode无法启动问题

https://www.cnblogs.com/yoghurt/p/5837353.html

Hadoop namenode重新格式化需注意问题

  • 重新格式化意味着集群的数据会被全部删除,格式化前需考虑数据备份或转移问题;

  • 先删除主节点(即namenode节点),Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 (注意是删除目录下的内容不是目录);

  • 删除所有数据节点(即datanode节点) ,Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容;

  • 格式化一个新的分布式文件系统:

    hadoop namenode -format