Intellij idea开发Hadoop MapReduce程序

时间:2023-03-09 08:42:57
Intellij idea开发Hadoop MapReduce程序

1、首先下载一个Hadoop包,仅Hadoop即可。

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

2、打开Idea新建一个java项目。

Intellij idea开发Hadoop MapReduce程序

Intellij idea开发Hadoop MapReduce程序

3、项目配置 File ---- Project Structure

(1)首先注意SDK的配置

Intellij idea开发Hadoop MapReduce程序

(2)加入Hadoop的jar包依赖

Intellij idea开发Hadoop MapReduce程序

Intellij idea开发Hadoop MapReduce程序

(3)打包配置

Intellij idea开发Hadoop MapReduce程序

Intellij idea开发Hadoop MapReduce程序

Intellij idea开发Hadoop MapReduce程序

4、开发map-reduce代码

Intellij idea开发Hadoop MapReduce程序

根据自己需求写代码,下面附代码样本。

(1)mapper代码:

Intellij idea开发Hadoop MapReduce程序

(2)reduce代码片断:

Intellij idea开发Hadoop MapReduce程序

(3)run/main代码:

Intellij idea开发Hadoop MapReduce程序

5、配置编译器

右上角:

Intellij idea开发Hadoop MapReduce程序

Intellij idea开发Hadoop MapReduce程序

Intellij idea开发Hadoop MapReduce程序

注意:第三个框里只需添入输入路径和输出路径即可

6、将数据导入到你的程序中

Intellij idea开发Hadoop MapReduce程序

注意:不要创建output目录,系统会自动创建。否则会报目录已存在的错。

7、运行

(1)运行成功:

Intellij idea开发Hadoop MapReduce程序

Intellij idea开发Hadoop MapReduce程序

(2)查看结果

Intellij idea开发Hadoop MapReduce程序