hadoop各大组件兼容性测试

时间:2024-04-05 14:10:12

Hadoop最佳兼容性测试

1. 软件版本Alpha,Beta,RC

开发期

– Alpha(α):预览版,或者叫内部测试版;一般不向外部发布,会有很多Bug;一般只有测试人员使用。

– Beta(β):测试版,或者叫公开测试版;这个阶段的版本会一直加入新的功能;在 Alpha版之后推出。

– RC(Release Candidate):最终测试版本;可能成为最终产品的候选版本,如果未出现问题则可发布成为正式版本

多数开源软件会推出两个RC版本,最后的 RC2 则成为正式版本。

完成期Stable,GA,RTM,RTL

– Stable:稳定版;来自预览版本释出使用与改善而修正完成。

– GA(General Availability):正式发布的版本;在国外都是用GA来说明release版本的。

– RTM(Release to Manufacturing):给生产商的release版本;RTM版本并不一定意味着创作者解决了软件所有问题;仍有可能向公众发布前更新版本。

另外一种RTM的称呼是RTW(Release To Web),表示正式版本的软件发布到Web网站上供客户免费下载。

– RTL(Retail):零售版;是真正的正式版,正式上架零售版。

以Windows 7为例,RTM版与零售版的版本号是一样的。

2.包下载网站

https://mirrors.tuna.tsinghua.edu.cn/apache/
https://www.apache.org/dyn/closer.lua/hbase/

2. Hbase

参考官方链接 (https://hbase.apache.org/2.1/book.html)

2.1 Hbase与jdk

hadoop各大组件兼容性测试

2.2 Hbase与Hadoop版本

Hadoop version support matrix

  • “S” = supported

  • “X” = not supported

  • “NT” = Not tested

hadoop各大组件兼容性测试

3.Hive

参考官方链接(http://hive.apache.org/downloads.html)

3.1 Hive和hadoop

hadoop各大组件兼容性测试

基本对应关系是hive2.x.x对应着hadoop2.x.x,hive2.x.x对应着hadoop2.x.x

4. Spark

hadoop各大组件兼容性测试

hadoop各大组件兼容性测试

4.1 spark和hadoop

最新版2.3.x和2.4.x对应hadoop2.7+ (即hadoop2.7.x以上)

4.2 spark和scala

最新版2.3.x和2.4.x对应scala2.12

5. Phoenix

hadoop各大组件兼容性测试

phoenix 5.0.0对应着hbase-2.0系列
phoenix 4.x.x系列对应着hbase-1.x 系列

6. 总结

所以最佳对应版本是,稳定且版本互相兼容,自2019.10.16日之前,

组件 说明
jdk 1.8 (看过很多安装教程都是oracle jdk,但是我用openjdk也能运行,没有报错)
hadoop 2.7.7 (官方最新版是3.2.0,虽然经我测试可以成功运行,但毕竟不是官方推荐)
hive 2.3.6 (对应着hadoop,是hive2.x.x系列的最新版,对应着hadoop2.x.x系列)
hbase 2.1.7 (官方最新稳定版是2.2.1,但是官网找不到兼容性报告)
spark 2.4.3 (因为之前下过2.4.3,最新版是2.4.4,兼容性一致)
scala 2.12 maven引用的时候选择此版本
Phoenix 5.0.0 对应着hbase2.x.x系列,phoenix 4.x 系列对应 hbase1.x系列
sqoop 1.99.7 没有依赖其他,没有兼容性问题