Hadoop工作原理

时间:2023-03-09 04:12:43
Hadoop工作原理

hadoop的核心思想是MapReduce,其处理数据的基本原理:在执行mapreduce之前,原始数据被分割成若干split,每个split作为一个map任务的输入,在map执行过程中split会被分解成一个个记录(key-value对), map会依次处理每一个记录。

解压所下载的Hadoop发行版。编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径。安装hadoop后,起码要告诉jvm在哪里,是吧f

-------------2019更新-------

  学习了springcloud使我对于分布式应用有一定了解,并且Hadoop差不多也属于java开发,这次会看应该不会太陌生。比如namenode和datanode中的数据的备份和通信,以及为什么要使用ip地址和端口等。