如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

时间:2021-07-20 12:52:55

  因为计算机配置过低,在虚拟机里几乎无法使用Eclipse,效率极低!

  所以现在尝试使用Windows下Eclipse操作虚拟机中Hadoop,步骤如下:

  开发环境:Hadoop2.7.1,Ubuntu Kylin 14.04

  1.修改配置文件core-site.xml,将其中localhost改为虚拟机的ip地址:

  在Ubuntu中,打开控制台,使用命令ifconfig查看虚拟机ip,如图:

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

  修改【hadoop安装路径】/etc/hadoop下的core-site.xml文件,如图:

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

  2.安装Hadoop-Eclipse-Plugin

  (以下操作在Window系统中进行)

  下载hadoop2x-eclipse-plugin:(下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin)

  解压hadoop2x-eclipse-plugin,将其中的hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse安装目录下的plugins文件夹中,启动Eclipse。

  将hadoop安装包解压到windows系统中(下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/),这里我解压到D:\hadoop

  选择 Window 菜单下的 Preference,左侧找到Hadoop Map/Reduce,填写刚刚解压的Hadoop目录,如图:

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

  3.配置Hadoop-Eclipse-Plugin

  选择 Window 菜单下Show View——Other,找到Map/Reduce Localtions,点击Open,如图:

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

  在Map/Reduce Locations面板中右击,选择New Hadoop location

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

  配置如下:

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

  4.启动hadoop,此时已经可以看到HDFS中的文件了:

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

  遇到问题:

  但现在修改HDFS上的内容时,会出现如下错误:

  org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

  解决办法:

  修改hdfs-site.xml文件,添加以下内容:

 <property>
<name>dfs.permissions</name>
<value>false</value>
<description>
If "true", enable permission checking in HDFS.
If "false", permission checking is turned off,
but all other behavior is unchanged.
Switching from one parameter value to the other does not change the mode,
owner or group of files or directories.
</description>
</property>

  如图:

  如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

参考文章:

https://blog.csdn.net/hsl_1990_08_15/article/details/50704425

https://blog.csdn.net/hfut_jf/article/details/48739585

http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html