hadoop2.7.3-windows下开发环境搭建

时间:2024-05-23 08:05:46

hadoop2.7.3-windows下开发环境搭建

1、目的

windows操作系统上不依赖cygwin运行hadoop2.7.3;并通过eclipse进行本机调试。

2、准备工作

(1)、hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

 hadoop 官方网站上下载的hadoop2.7.3压缩包

(2)、hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

官网上的hadoop2.7.3安装包缺少 在windows下运行所必须的.dll 动态库文件,这个压缩包是.dll动态库文件,需要拷贝到\hadoop-2.7.3\bin

3、部署配置

3.1、解压缩 hadoop-2.7.3到磁盘根目录下

3.2、拷贝动态库

hadoop2.7.3-windows下开发环境搭建  hadoop2.7.3-windows下开发环境搭建里面bin目录下的所有文件拷贝到\hadoop-2.7.3\bin

3.3、配置hadoopJAVA_HOME

\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd

 hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

如果jdk安装在 Program Files 目录下,则必须使用转义处理。

C:\Program Files\Java      == 》       C:\PROGRA~1\Java

3.4、配置core-site.xmlhdfs

 hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

3.5、格式化hdfs存储

F:\hadoop\hadoop-2.7.3\bin      hdfs   namenode  -format  

3.6、启动hadoop

F:\hadoop\hadoop-2.7.3\sbin        start-all.cmd  

4、eclipse配置

4.1、安装eclipse-hadoop-plugin

将 hadoop2.7.3-windows下开发环境搭建拷贝到 hadoop2.7.3-windows下开发环境搭建

4.2、设置hadoop本地目录

第一步操作完成后,重启eclipse,配置hadoop本地目录

 hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

4.3、创建hadoop服务器连接

     hadoop2.7.3-windows下开发环境搭建

hadoop2.7.3-windows下开发环境搭建

 hadoop2.7.3-windows下开发环境搭建

   

    至此,完成所有操作 

 

5、常见错误

5.1、创建hadoop服务器连接错误

这种情况下,如果配置参数无误,则无需管他。

 hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

5.2、执行hadoop程序报错

Exception in thread "main"

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

 hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

 

这个错误是由于windows的访问权限校验引起的。处理方式:

(1)、下载hadoop源码

(2)、将下图中的类拷贝到自己的hadoop项目中

 hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建

拷贝到项目中目录如下:

 hadoop2.7.3-windows下开发环境搭建

(3)、按照上面的错误提示,修改对应的代码

 hadoop2.7.3-windows下开发环境搭建hadoop2.7.3-windows下开发环境搭建