Ubuntu 14.10 下Hadoop HttpFS 配置

时间：2023-03-08 23:55:37
Ubuntu 14.10 下Hadoop HttpFS 配置

　　因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。

　　HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的API用来管理HDFS

1 集群环境

Ubuntu-14.10

openjdk-7

hadoop-2.6.0 HA(双NN)

hue-3.8.1（development）

2 安装

因为hadoop中自带了httpfs所以，这里不需要下载其他包，只需要进行一下配置

2.1 core-site.xml，添加如下

      <property>

              <name>hadoop.proxyuser.hadoop.hosts</name>

              <value>*</value>

              <description>第二个hadoop是启动httpfs的用户名</description>

      </property>  

      <property>

              <name>hadoop.proxyuser.hadoop.groups</name>

              <value>*</value>

              <description>第二个hadoop是启动httpfs的用户组名</description>

      </property>

注意：hadoop.proxyuser.{hadoop}.hosts第二个是启动httpfs的用户名

如果是需要配置用户代理，需要在httpfs-site.xml中添加。

到此配置完毕，启动httpfs，进入hadoop sbin下，运行

httpfs.sh start

启动成功后jps会多一个Bootstrap 进程。

浏览器访问http://localhost:14000/ 
页面显示：HttpFs service, service base URL at /webhdfs/v1. 根目录为：/webhdfs/v1

参考：

http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html

http://duguyiren3476.iteye.com/blog/2209388

http://blog.cheyo.net/90.html

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html

http://blog.****.net/ganglia/article/details/25902873

相关文章