Hadoop-Improved-Replic-Data-Placement:基于节点性能上的副本放置策略

【文件属性】：
文件名称：Hadoop-Improved-Replic-Data-Placement:基于节点性能上的副本放置策略
文件大小：23.25MB
文件格式：ZIP
更新时间：2021-05-12 06:16:09
Java Hadoop-Improved-Replic-data-Placement HDFS的默认副本放置策略是基于“机架感知”的，即将副本块放置在不同的机架中，以保证数据的安全性，同时结合网络距离排序选择最近的节点放置数据副本，以减少网络带宽的使用率。但是仔细研究HDFS的副本放置策略之后，发现根据以上策略在确定某一机架之后具体节点的选择是随机的，也就是说默认策略只考虑了各个节点是同构的情况。本人在实际项目过程中，hadoop集群是搭建在异构机器上的，即不同的机器性能有比较大的差异，因而根据hdfs的默认副本放置策略，就使得性能较差的节点会制约整个集群的性能，为了解决该问题，本人通过修改hadoop部分源码，实现了基于节点性能的副本放置策略，与原来的策略相比，该策略使整个集群性能提高了12%左右。