一、
为什么要编译Hadoop源码
Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。
native目录是本地库，位于hadoop-2.x.x/lib/native目录下，仅支持linux和unix操作系统。
hadoop中的zlib和gzip模块会加载本地库，如果加载失败，会提示：
16/07/06 12:18:24 WARN util.NativeCodeLoader:
Unable to load native-hadoop library for your platform... using builtin-java
classes where applicable
可以在core-site.xml中配置hadoop.native.lib值是否使用本地库，默认值为true。
官方提供的hadoop-2.x版本中，native文件都是32位编译的，在实际使用64位环境中，为了能让Hadoop更高效地运行，最好还是在本地编译Hadoop源码，用本地编译好的本地库（native目录）替换官方安装包里自带的本地库。
二、
编译源码的环境要求
1、 必须在Linux下进行
2、 Java JDK必须为1.6以上
3、 Maven 版本必须为3.0以上
4、 安装Findbugs插件，版本1.3.9
5、 安装CMake编译工具，版本2.6
6、 安装zlib devel
7、 安装openssl devel
8、 编译时必须可以连接互联网，因为需要yum下载软件。
三、
用到的软件包
1、 apache-maven-3.0.5-bin.tar.gz
2、 cmd_markdown_win64.zip
3、 findbugs-1.3.9.tar.gz
4、 hadoop-2.5.0-src.tar.gz
5、 jdk-7u67-linux-x64.tar.gz
6、 native-2.5.0.tar.gz
7、 protobuf-2.5.0.tar.gz
四、
Hadoop2.x源码编译步骤
1、 解压Hadoop源码安装包
(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf
hadoop-2.5.0-src.tar.gz -C /opt/modules/
(2) 查看是否已经解压成功
[hadoop@bigdata-senior01
sofeware]$ ll /opt/modules/
total 12
drwxr-xr-x. 11
hadoop hadoop 4096 Jul 4 17:48 hadoop-2.5.0
drwxr-xr-x
15 hadoop hadoop 4096 Aug 7 2014 hadoop-2.5.0-src
2、 解压JDK
(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf jdk-7u67-linux-x64.tar.gz
-C /opt/modules/
(2) 查看是否已经解压成功
[hadoop@bigdata-senior01
sofeware]$ ll /opt/modules/
total 12
drwxr-xr-x. 11
hadoop hadoop 4096 Jul 4 17:48 hadoop-2.5.0
drwxr-xr-x
15 hadoop hadoop 4096 Aug 7 2014 hadoop-2.5.0-src
drwxr-xr-x.
8 hadoop hadoop 4096 Jul 26 2014 jdk1.7.0_67
3、 root用户配置Java
JDK环境变量
(1) root用户进入/etc/profile文件
[root@bigdata-senior01
sofeware]$ vim /etc/profile
(2) 配置JDK_HOME和PATH
export
JAVA_HOME="/opt/modules/jdk1.7.0_67"
export
PATH=$JAVA_HOME/bin:$PATH
(3) 生效配置文件
[root@bigdata-senior01
sofeware]$ source /etc/profile
(4) 确认Jave配置成功
[root@bigdata-senior01
sofeware]$ java -version
java version
"1.7.0_67"
Java(TM) SE
Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM)
64-Bit Server VM (build 24.65-b04, mixed mode)
4、 root用户安装Maven
(1) Apache Maven，是一个软件项目管理及自动构建工具。Maven 完成项目生命周期的所有阶段，包括验证、代码生成、编译、测试、打包、集成测试、安装、部署、以及项目网站创建和部署。maven的好处在于可以将项目过程规范化、自动化、高效化以及强大的可扩展性。
对于需要的依赖，Maven可以从配置的远程仓库里按需自动下载到本地仓库
(2) 解压Maven
[hadoop@bigdata-senior01
sofeware]$ tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules/
(3) 配置/etc/profile文件
export
MAVEN_HOME="/opt/modules/apache-maven-3.0.5"
export
PATH=$MAVEN_HOME/bin:$PATH
(4) 生效配置文件
[root@bigdata-senior01
sofeware]# source /etc/profile
(5) 确认Maven配置成功
[root@bigdata-senior01
sofeware]# mvn -version
Apache Maven
3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)
Maven home:
/opt/modules/apache-maven-3.0.5
Java version:
1.7.0_67, vendor: Oracle Corporation
Java home:
/opt/modules/jdk1.7.0_67/jre
Default locale:
en_US, platform encoding: UTF-8
OS name:
"linux", version: "2.6.32-504.el6.x86_64", arch:
"amd64", family: "unix"
5、 root用户安装gcc/gcc-c++/make
[root@bigdata-senior01
sofeware]# yum -y install gcc gcc-c++
接下来yum自动安装，直到安装成功会显示Complete!
6、 普通用户下安装protobuf
(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf protobuf-2.5.0.tar.gz
-C /opt/modules/
(2) [hadoop@bigdata-senior01 sofeware]$
/opt/modules/protobuf-2.5.0/configure --prefix=/usr/local/protoc
(3) [hadoop@bigdata-senior01 sofeware]$ cd /opt/modules/protobuf-2.5.0
(4) [root@bigdata-senior01 protobuf-2.5.0]# make
(5) [root@bigdata-senior01 protobuf-2.5.0]# make install
(6) 配置/etc/profile
export
PROTOBUF_HOME="/usr/local/protoc"
export
PATH=$PROTOBUF_HOME/bin:$PATH
(7) 生效配置文件
[root@bigdata-senior01
sofeware]# source /etc/profile
(8) 确认配置成功
[root@bigdata-senior01
protobuf-2.5.0]# protoc --version
libprotoc 2.5.0
7、 root用户下下载安装CMake、openssl、ncurses
(1) 安装Cmake
[root@bigdata-senior01
protobuf-2.5.0]# yum -y install cmake
(2) 安装openssl
[root@bigdata-senior01
protobuf-2.5.0]# yum install openssl-devel
(3) 安装ncurses
[root@bigdata-senior01
protobuf-2.5.0]# yum -y install ncurses-devel
8、 添加maven镜像
(1) 编辑maven配置文件settings.xml
(2) 添加镜像
|
<mirror> <id>nexus-osc</id> <mirrorOf>*</mirrorOf> <name>Nexus osc</name> <url>http://maven.oschina.net/content/groups/public</url> </mirror> |
9、 编译Hadoop源码
(1) 切换到普通用户：[root@bigdata-senior01
protobuf-2.5.0]# su hadoop
(2) 进入hadoop源码目录：[hadoop@bigdata-senior01
protobuf-2.5.0]$ cd /opt/modules/hadoop-2.5.0-src/
(3) 执行编译，编译过程中需要从yum仓库下载依赖包，需要一段时间
[hadoop@bigdata-senior01
hadoop-2.5.0-src]$ mvn package
–DskipTests –Pdist,native
(4)
执行过程中如果报错，发现是下载依赖失败，可以换个apache的maven镜像地址后能够正常下载。
https://repo.maven.apache.org/maven2
10、
编译后，将native目录替换之前安装的hadoop lib 目录下的native目录。
(1) 将编译后的native目录覆盖本地原有的native目录
[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cp -R
/opt/modules/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/lib/native/*
/opt/modules/hadoop-2.5.0/lib/native/
(2) 进入${HADOOP_HOME}目录启动HDFS
[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cd ${HADOOP_HOME}
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start
namenode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start
datanode
(3) 执行dfs命令就不会有警告了
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /
