windows下搭建hadoop-2.6.0本地idea开发环境

时间:2023-03-08 16:59:28

概述

本文记录windows下hadoop本地开发环境的搭建:

OS:windows
hadoop执行模式:独立模式

安装包结构:

Hadoop-2.6.0-Windows.zip
- cygwinInstall // cygwin离线安装包
- hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包

PS:

hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz,并为windows单机測试而自己定义的包,修改例如以下:
1. 在bin文件夹下,加入了hadoop.dll和winutils.exe
2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源代码第558行 *因为源代码有修改,此包不能用于生产环境,仅仅限于windows环境下的开发測试

windows下搭建hadoop-2.6.0本地idea开发环境

1. 安装cygwin

  1. 双击cygwinInstall下的setup-x86_64.exe
  2. 选择从本地安装

    windows下搭建hadoop-2.6.0本地idea开发环境

  3. 选择安装位置

    windows下搭建hadoop-2.6.0本地idea开发环境

  4. 选择本地安装文件位置

    windows下搭建hadoop-2.6.0本地idea开发环境

  5. 点击All旁边的default,使其变为Install,再点击下一步就可以開始安装

    windows下搭建hadoop-2.6.0本地idea开发环境

2. 安装hadoop

  1. 在cygwin的根文件夹下。建立opt文件夹,并把安装包复制到opt文件夹下

    cd /; mkdir opt

  2. 解压

    cd /opt; tar xzf hadoop-2.6.0-windows.tar.gz

  3. 环境变量设置

    设置windows环境变量HADOOP_PREFIX指向hadoop安装文件夹

    windows下搭建hadoop-2.6.0本地idea开发环境

    设置windows环境变量HADOOP_HOME指向hadoop安装文件夹

    windows下搭建hadoop-2.6.0本地idea开发环境

    设置windows环境变量JAVA_HOME指向java安装文件夹

    windows下搭建hadoop-2.6.0本地idea开发环境

    Path环境变量后追加:;%HADOOP_HOME%\bin

  4. ~/.bashrc中设置下面环境变量:

    export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH

  5. 使~/.bashrc生效,并验证hadoop是否工作

    source ~/.bashrc

    验证hadoop:

    hadoop version

    若正常显示版本号信息则成功安装

    windows下搭建hadoop-2.6.0本地idea开发环境

  6. 执行演示样例代码。验证hadoop是否可以执行mapreduce

    cd /opt/hadoop-2.6.0; mkdir input; cd input; echo "Hello World" > test

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

    若正常执行则显示:

    windows下搭建hadoop-2.6.0本地idea开发环境

    在/opt/hadoop-2.6.0/output下会生成part-r-00000文件,包括下面内容:

    Hello   1
    world 1

3. idea开发环境配置

  1. 创建一个mapreduce项目

    windows下搭建hadoop-2.6.0本地idea开发环境

  2. 选择项目。按下F12。加入外部依赖

    windows下搭建hadoop-2.6.0本地idea开发环境

  3. 加入HADOOP_HOME下必要的jar包

    windows下搭建hadoop-2.6.0本地idea开发环境

  4. 进入执行配置

    windows下搭建hadoop-2.6.0本地idea开发环境

  5. 配置执行參数

    Working directory设置为hadoop安装文件夹

    并设置输入參数

    windows下搭建hadoop-2.6.0本地idea开发环境

  6. 调试

    和普通java程序一样打断点进行调试

    windows下搭建hadoop-2.6.0本地idea开发环境