Redhat环境下编译安装Google Bazel

时间:2023-03-08 17:25:39
Redhat环境下编译安装Google Bazel

Redhat环境下编译安装bazel##

作者:Jack47

目前Google Bazel没有提供各个操作系统下的二进制安装包,只提供源代码,需要我们自己编译安装,详情可以见我翻译的中文版Google Bazel FAQ。Google Bazel官方安装文档在这里,里面只介绍了在Ubuntu(14.04,14.10)和Mac OS X下的编译安装。而我们公司的构建机器是Redhat Linux系列,在编译Bazel的时候遇到了很多问题,在这里跟大家分享下解决思路和方法,为了照顾像作者这样的小白,文章写的稍微有点啰嗦,见谅。

编译##

我编译Bazel的系统环境配置是:

系统环境###

操作系统:Redhat Enterprise 5.7
内核版本:2.6.32-220
gcc: 4.1.2

后来发现需要JDK 1.8, 支持C++ 11的编译器才可以顺利编译Bazel,下文会介绍如何安装这些依赖。

下载代码###

$ git clone https://github.com/google/bazel/

编译###

直接执行./compile.sh脚本来编译Bazel

$ ./compile.sh

报错:

Package libarchive was not found in the pkg-config search path.
Perhaps you should add the directory containing 'libarchive.pc' to the PKG_CONFIG_PATH environment variable
No package 'libarchive' found`

可以看到提示是 libarchive 包不在PKG_CONFIG_PATH下。利用Redhat Linux下的包管理工具yum查看到底安装了这个包没有:

$ rpm -qa | grep libarchive

发现就没有安装这个包,于是进行安装。libarchive是一个支持多种格式的档案和压缩的库。

安装libarchive###

从官方网站下载最新版本的 libarchive :

$ wget http://libarchive.org/downloads/libarchive-3.1.2.tar.gz

解压缩得到源码:

$ gunzip libarchive-3.1.2.tar.gz
$ tar libarchive-3.1.2.tar

然后通过查看libarchive-3.1.2目录下的 INSTALL 文件,找到编译安装方法:

编译:

$ ./configure
$ make

安装[需要管理员权限]:

$ sudo make install

此时再次执行Bazel的编译脚本:

$ ./compile.sh

发现还是跟没安装之前报一样的错误:

Package libarchive was not found in the pkg-config search path.
Perhaps you should add the directory containing 'libarchive.pc' to the PKG_CONFIG_PATH environment variable
No package 'libarchive' found

提示是说在pkg-config的搜索路径下找不到 libarchive 这个包,需要把libarchive.pc这个文件的路径添加到PKG_CONFIG_PATH这个环境变量里。回过头查看 libarchive 的安装过程中打印出的信息,可以看到:

/usr/bin/install -c -m 644 build/pkgconfig/libarchive.pc '/usr/local/lib/pkgconfig

发现libarchive.pc是安装到了 /usr/local/lib/pkgconfig 目录下。

于是设定环境变量PKG_CONFIG_PATH:

$ export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

再编译Bazel,发现又出错了:

JDK version is lower than 1.8, please set $JAVA_HOME.

是jdk的版本不对,看了一下当前环境下的java版本:

$ java -version
java version "1.6.0_20"

安装jdk 1.8###

从Oracle官网下载jdk1.8, 由于我的机器是x86架构,64位机器,于是下载这个版本。如果直接 wget 会失败,需要在网页里同意License才可以下载,所以从浏览器中下载jdk1.8。如果是远程登录到服务器,可以在本地下载,然后使用scp命令上传到服务器:

$scp jdk-8u45-linux-x64.rpm usename@hostname:~/

安装####

$ sudo rpm -ivh jdk-8u45-linux-x64.rpm

bazel需要通过环境变量$JAVA_HOME来得到jdk的安装路径。而jdk rpm安装包不会自动帮助我们设置环境变量JAVA_HOME,需要我们自己设置。

设置JAVA_HOME####

很奇怪,安装后包名称变了,使用如下rpm命令查看安装后jdk 1.8的包名称:

$ rpm -qa | grep jdk
jdk1.8.0_45-1.8.0_45-fcs

查看这个包中文件都安装到哪些路径下了:

$ rpm -ql jdk1.8.0_45-1.8.0_45-fcs

发现安装到/usr/java/jdk1.8.0_45/这个目录下去了。

于是设置JAVA_HOME:

$ export JAVA_HOME=/usr/java/jdk1.8.0_45/

查看JAVA_HOME是否设置正确:

$ echo $JAVA_HOME
/usr/java/jdk1.8.0_45/

可以看到确实设置成功了。

再次编译Bazel,终于看到编译的输出了:

$ ./compile.sh
Compiling Java stubs for protocol buffers...
Compiling Bazel Java code...
Extracting helper classes for Bazel Java...
Creating libblaze.jar...
Compiling SingleJar tool code...
Extracting helper classes for SingleJar tool...
Creating SingleJar_deploy.jar...
Compiling JavaBuilder tool code...
Extracting helper classes for JavaBuilder tool...
Creating JavaBuilder_deploy.jar...
Compiling client .cc files...
cc1plus: error: unrecognized command line option "-std=c++0x"

看起来是不支持这个选项: "-std=c++0x"。

如何查看到底./compile.sh这个脚本执行了哪些语句,到底是哪条命令失败了?编辑这个shell脚本,在开头写入set命令

set -x

然后再次运行Bazel编译,此时可以看到 ./compile.sh 脚本的每一行命令。最终出错误的命令是:

g++ -I. -std=c++0x -c '-DBLAZE_JAVA_CPU="k8"' -DBLAZE_OPENSOURCE=1 -o output/objs/blaze_startup_options.cc.o src/main/cpp/blaze_startup_options.cc

看起来是 g++ 不支持 c++0x标准。上网搜了一下,发现gcc 4.6以上的版本才支持 C++ 11。怎么在Redhat Linux下安装更高版本的gcc呢?

上网搜索后,发现Red Hat Enterprise Linux下有开发工具套件 devtoolset,可以方便的安装各个版本的gcc,而且是可以多个版本并存的,方便的解决了我等小白在源码编译、安装gcc时可能出现的问题。但官方的那一套东西,需要付费,而公司的这个Red Hat版本不支持。后来发现Redhat Linux的社区版本--Centos下有人已经构建好了Redhat Developer Toolset的相关rpm包,参照此文来进行devtoolset的安装。

$ sudo wget http://people.centos.org/tru/devtools-2/devtools-2.repo -O /etc/yum.repos.d/devtools-2.repo
$sudo yum install devtoolset-2-gcc devtoolset-2-binutils devtoolset-2-gcc-c++

安装完成后,使用scl命令在shell环境中启用devltoolset-2

$ scl enable devtoolset-2 bash

然后验证此时gcc的版本:

$ gcc -v

可以看到此时已经是gcc 4.8.2版本了。有兴趣的同学可以查看一下enable这个脚本的实现,非常简洁,会让你收获一些东西,路径是:/opt/rh/devtoolset-2/

再次编译Bazel,发现又出错了:

src/main/tools/namespace-sandbox.c: In function ‘main’:
src/main/tools/namespace-sandbox.c:140:36: error: ‘CLONE_NEWUTS’ undeclared (first use in this function) CHECK_CALL(unshare(CLONE_NEWNS | CLONE_NEWUTS | CLONE_NEWIPC | CLONE_NEWUSER));

在网上看到unshare这个函数的CLONE_NEWUTS参数在我的这个系统版本里2.6.32 里面应该是已经支持了得。后来发信给bazel邮件组求助,他们说是我得系统内核版本太老了,不支持namespace,让我把namespace-sandbox的编译去掉,不影响正常功能。

于是注释掉,sandbox的编译:

#if [[ $PLATFORM == "linux" ]]; then
# log "Compiling sandbox..."
# "${CC}" -o output/namespace-sandbox -std=c99 src/ main/tools/namespace-sandbox.c
#fi`

再次编译,编译终于成功了!

Build successful! Binary is here: /home/jack47/bazel/output/bazel

明天如果把bug修完了,会更新一篇如何上手bazel的文章,大家周末愉快!

后记:

其实我在搞明白可以简单的使用devltoolset来安装高版本的gcc之前,自己源码编译,安装gcc后,遇到了一些稀奇古怪的错误,比如系统头文件里的某些宏没有定义,libstdc++中找不到GLIBCXX_3.4.20等,还是花了好几天时间在上面的。所以读者朋友们,你们是幸福的啊,按照我的这篇文章,半天时间怎么着也能编译出Bazel来。

做个调查,C++程序员,你能分清楚这几个名词之间的区别和联系吗?不清楚的默默给我点下文章右下角的“推荐”按钮吧,哈哈。其实我写这篇文章之前也不太清楚glibc和libstdc++这两个东东的:)

GCC

glibc

libstdc++

参考资料:

  1. Redhat Developer toolset的介绍:很有意思,解释了这套工具解决的问题,背后的原理等
  2. Google软件构建工具Bazel原理及使用方法介绍