Hadoop多硬盘配置时的注意事项

时间:2021-04-10 22:00:30
<!-- hdfs-site.xml -->
<property>
<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property> <property>
<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>
<value>64424509440</value>
</property> <!-- yarn-site.xml-->
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data1,/data2,/data3/,/data4</value>
</property>

IO对hadoop的影响比较大,我们需要注意在多硬盘时hdfs-site.xml与yarn-site.xml的相关配置。

譬如说要给硬盘保留适当的空间,除了用作副本存储外,还可以留一部分给nm做临时计算的中间结果存储等。

第一个参数是副本存储的选择策略,根据可用空间大小进行存储,第二个参数是平衡时选择的标准,差额大于多少g。