本帖最后由 panda 于 2013-11-24 13:23 编辑
问题描述：
重新配置eclipse的mapredece运行环境.上传Test_1文件，
Apr 23 11:49:54 hostapd: wlan0: STA 14:7d:c5:9e:fb:84
Apr 23 11:49:52 hostapd: wlan0: STA 74:e5:0b:04:28:f2
Apr 23 11:49:50 hostapd: wlan0: STA cc:af:78:cc:d5:5d
Apr 23 11:49:44 hostapd: wlan0: STA cc:af:78:cc:d5:5d
Apr 23 11:49:43 hostapd: wlan0: STA 74:e5:0b:04:28:f2
Apr 23 11:49:42 hostapd: wlan0: STA 14:7d:c5:9e:fb:84
如图：
解决步骤：
1.查看hdfs-site.xml,已经设置hdfs的访问控制设为false.
2.查看hdfs的文件目录权限：
已执行：
bin/hadoop fs -chmod 777
3.修改windows本地帐户
4.检查hdfs能否本地上传
bin/hadoop fs -put Test_1 /home/hadoop/in
可以上传
5.检查eclipse的配置端口：
和core-site.xml的一致：
做完以上5个步骤，问题依然没有解决。发现不同的方式上传的文件属性不同
不知道是什么原因？
6.检查防火墙和selinux是否禁用
在root权限下：
关闭防火墙：
/sbin/service iptables stop
禁用selinux
编辑 "/etc/selinux/config"文件，设置"SELINUX=disabled"
重启 reboot
7.重启后，重启hadoop将Test_1文件上传到hdfs中在本地可以看到文件内容
但是在eclipse查看的时候报错：
网上查询的结果多是：节点断了，没连接上，但是我再datanode也可以查看Test_1文件，不知道怎么解决！
我猜是可能网络问题，不过太牵强了，我eclipse连接的hadoop的是在互联网上面的机器。
各位同学，该怎么解决？
问题解决：
在运行Test_1的时候发现报错：
eclipse所在的机器 hadoop client和hadoop 不是在一个网段内，不能直接连接到datanode上面。这也是为什么我的另外一个搭载在一个局域网的hadoop client 可以访问网内的hadoop集群的原因。
我再本机上用VMware虚拟了2台服务器，重新搭建hadoop集群，问题就解决了。
总结：hadoop client 需要在hadoop集群在同一个网段内才能调试MapReduce程序。
|
