七、Hadoop学习笔记————调优之Hadoop参数调优

时间:2021-10-01 00:05:06

七、Hadoop学习笔记————调优之Hadoop参数调优

dfs.datanode.handler.count默认为3,大集群可以调整为10

七、Hadoop学习笔记————调优之Hadoop参数调优

七、Hadoop学习笔记————调优之Hadoop参数调优

传统MapReduce和yarn对比

七、Hadoop学习笔记————调优之Hadoop参数调优

如果服务器物理内存128G,则容器内存建议为100比较合理

七、Hadoop学习笔记————调优之Hadoop参数调优

配置总量时考虑系统调优块,双路四核2*4*2=16g,则总量设置为10到12比较合适,需要预留空间给其他服务器

七、Hadoop学习笔记————调优之Hadoop参数调优

七、Hadoop学习笔记————调优之Hadoop参数调优

七、Hadoop学习笔记————调优之Hadoop参数调优

需要给master分配足够资源,并且分配受限于yarn

七、Hadoop学习笔记————调优之Hadoop参数调优

七、Hadoop学习笔记————调优之Hadoop参数调优

hadoop调优需要不断尝试,没有固定的套路