hadoop、hbase、hive、zookeeper版本对应关系

时间:2022-03-17 23:44:52
本文引用自:http://www.aboutyun.com/blog-61-62.html

最新版本:

hadoop和hbase版本对应关系:

Hbase    Hadoop

0.92.0  1.0.0

0.92.1  1.0.0

0.92.2  1.0.0

0.94.0  1.0.2

0.94.1  1.0.3

0.94.2  1.0.3

0.94.3  1.0.4

0.94.4  1.0.4

0.94.5  1.0.4

0.94.9  1.2.0

0.95.0  1.2.0

Hadoop与hive版本对应关系

hive版本  1.1.0    支持hadoop版本

Hadoop 1.x.y 2.x.y

hive版本 1.0.0   支持hadoop版本

hadoop1.x.y,2.x.y

hive版本0.13.1    支持hadoop版本

hadoop0.20.x,0.23.x.y,1.x.y 2.x.y

hive版本0.13.0  支持hadoop版本

hadoop0.20.x,0.23.x.y,1.x.y,2.x.y

hive版本0.12.0      支持hadoop版本

hadoop0.20.x,0.23.x.y,1.x.y,2.x.y

hive版本0.11.0      支持hadoop版本

hadoop0.20.x,0.23.x.y,1.x.y,2.x.y

hive版本0.10.0  支持hadoop版本

hadoop 0.20.x,0.23.x.y,1.x.y,2.x.y

网址:http://hive.apache.org/downloads.html

补充一些内容:

hive、hbase、zookeeper的关系

分布式平台软件选型(hadoop)
软件名  最新版(高手) 稳定版三(推荐) 稳定版二(官方) 稳定版一(官方)
Hadoop  2.5.0 2.2.0 1.2.1 0.20.2
HBase 0.98.5  0.96.0 0.98.5 0.90.3
Zookeeper 3.4.6 3.4.5 3.4.6 3.3.3
Pig 0.13.0   0.13.0 0.9.0
Hive   0.13.1 0.12.0 0.13.1 0.7.1
sqoop 1.4.5 1.4.2    

                           说明:红色为必选。建议采用最新版

hadoop1.2+hbase0.95.0+hive0.11.0会产生hbase+hive的不兼容,创建hive+hbase的关联表就会报pair对异常。

hadoop1.2+hbase0.94.9+hive0.10.0没问题,解决了上个版本的不兼容问题。

hadoop-1.0.3+hive-0.9.0+hive0.92.0兼容

hadoop2.2+hbase0.96+hive0.12兼容(有些小问题,可能需要一些补丁)

hadoop2.2+hbase0.96+hive0.13兼容(应该兼容)

Hadoop与hbase支持版本

S=支持并且测试

X=不支持

NT=应该可以,但是没有测试

HBase-0.92.x HBase-0.94.x HBase-0.96.x HBase-0.98.x[a] HBase-1.0.x[b]
Hadoop-0.20.205 S X X X X
Hadoop-0.22.x S X X X X
Hadoop-1.0.0-1.0.2[c] X X X X X
Hadoop-1.0.3+ S S S X X
Hadoop-1.1.x NT S S X X
Hadoop-0.23.x X S NT X X
Hadoop-2.0.x-alpha X NT X X X
Hadoop-2.1.0-beta X NT S X X
Hadoop-2.2.0 X NT [d] S S NT
Hadoop-2.3.x X NT S S NT
Hadoop-2.4.x X NT S S S
Hadoop-2.5.x X NT S S S

[a]Support for Hadoop 1.x is deprecated.

[b]Hadoop 1.x is NOT supported

[c]HBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop.

[d]To get 0.94.x to run on hadoop 2.2.0, you need to change the hadoop 2 and protobuf versions in the pom.xml: Here is a diff with pom.xml changes:

$ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ <slf4j.version>1.4.3</slf4j.version> <log4j.version>1.2.16</log4j.version> <mockito-all.version>1.8.5</mockito-all.version> - <protobuf.version>2.4.0a</protobuf.version> + <protobuf.version>2.5.0</protobuf.version> <stax-api.version>1.0.1</stax-api.version> <thrift.version>0.8.0</thrift.version> <zookeeper.version>3.4.5</zookeeper.version> @@ -2241,7 +2241,7 @@ </property> </activation> <properties> - <hadoop.version>2.0.0-alpha</hadoop.version> + <hadoop.version>2.2.0</hadoop.version> <slf4j.version>1.6.1</slf4j.version> </properties> <dependencies>

The next step is to regenerate Protobuf files and assuming that the Protobuf has been installed:

  • Go to the hbase root folder, using the command line;

  • Type the following commands:

    $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto$ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto

Building against the hadoop 2 profile by running something like the following command:

$ mvn clean install assembly:single -Dhadoop.profile=2.0 -DskipTests

Replace the Hadoop Bundled With HBase!

Because HBase depends on Hadoop, it bundles an instance of the Hadoop jar under its lib directory. The bundled jar is ONLY for use in standalone mode. In distributed mode, it is critical that the version of Hadoop that is out on your cluster match what is under HBase. Replace the hadoop jar found in the HBase lib directory with the hadoop jar you are running on your cluster to avoid version mismatch issues. Make sure you replace the jar in HBase everywhere on your cluster. Hadoop version mismatch issues have various manifestations but often all looks like its hung up.

更新内容:

Hadoop version support matrix

·         "S" = supported

·         "X" = not supported

·         "NT" = Not tested

 

HBase-0.92.x

HBase-0.94.x

HBase-0.96.x

HBase-0.98.x (Support for Hadoop 1.1+ is deprecated.)

HBase-1.0.x (Hadoop 1.x is NOT supported)

Hadoop-0.20.205

S

X

X

X

X

Hadoop-0.22.x

S

X

X

X

X

Hadoop-1.0.x

X

X

X

X

X

Hadoop-1.1.x

NT

S

S

NT

X

Hadoop-0.23.x

X

S

NT

X

X

Hadoop-2.0.x-alpha

X

NT

X

X

X

Hadoop-2.1.0-beta

X

NT

S

X

X

Hadoop-2.2.0

X

NT

S

S

NT

Hadoop-2.3.x

X

NT

S

S

NT

Hadoop-2.4.x

X

NT

S

S

S

Hadoop-2.5.x

X

NT

S

S

S

hadoop、hbase、hive、zookeeper版本对应关系的更多相关文章

  1. hadoop&sol;hbase&sol;hive单机扩增slave

    原来只有一台机器,hadoop,hbase,hive都安装在一台机器上,现在又申请到一台机器,领导说做成主备, 要重新配置吗?还是原来的不动,把新增的机器做成slave,原来的当作master?网上找 ...

  2. hive spark版本对应关系

    查看hive source下面的pom.xml,可以找到官方默认发布的hive版本对应的spark版本,在实际部署的时候,最好按照这个版本关系来,这样出现兼容问题的概率相对较小. 下面面列出一部分对应 ...

  3. cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南

    hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-c ...

  4. hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS&comma; YARN&comma; Hbase&comma; Hive&comma; ZooKeeper&colon;

    组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 ...

  5. 【转载】全栈工程师-Hadoop&comma; HBase&comma; Hive&comma; Spark

    学习参考这篇文章: http://www.shareditor.com/blogshow/?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统, hadoop用于分布式存 ...

  6. 最新hadoop&plus;hbase&plus;spark&plus;zookeeper环境安装(vmmare下)

    说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g ...

  7. hadoop&comma;hbase&comma;hive

    linux上安装hadoop,然后安装hbase,然后安装zookeeper,最后安装hive.hbase安装在hdfs下.hive是纯逻辑表,hbase是物理表.hdfs是hadoop上的一个组件.

  8. 大数据学习系列之七 ----- Hadoop&plus;Spark&plus;Zookeeper&plus;HBase&plus;Hive集群搭建 图文详解

    引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...

  9. HADOOP&plus;SPARK&plus;ZOOKEEPER&plus;HBASE&plus;HIVE集群搭建&lpar;转&rpar;

    原文地址:https://www.cnblogs.com/hanzhi/articles/8794984.html 目录 引言 目录 一环境选择 1集群机器安装图 2配置说明 3下载地址 二集群的相关 ...

随机推荐

  1. node&period;js module初步理解

    在开发一个复杂的应用程序的时候,我们需要把各个功能拆分.封装到不同的文件,在需要的时候引用该文件.没人会写一个几万行代码的文件,这样在可读性.复用性和维护性上都很差,几乎所有的编程语言都有自己的模块组 ...

  2. 2017年1月7日 星期六 --出埃及记 Exodus 21&colon;33

    2017年1月7日 星期六 --出埃及记 Exodus 21:33 "If a man uncovers a pit or digs one and fails to cover it an ...

  3. POJ 1486 Sorting Slides &lpar;二分图关键匹配边&rpar;

    题意 给你n个幻灯片,每个幻灯片有个数字编号1~n,现在给每个幻灯片用A~Z进行编号,在该幻灯片范围内的数字都可能是该幻灯片的数字编号.问有多少个幻灯片的数字和字母确定的. 思路 确定幻灯片的数字就是 ...

  4. 第六篇、CSS属性

    <!--1.可继承性 visible(可见的):hidden --掩藏,但是结构还保存 cursor(光标样式):pointer(手指)crosshair(十字架) 一般是文字控制属性 内联标签 ...

  5. 搭建Struts框架

    搭建Struts框架 新建项目 [file]-[new]-[web project] 在弹出的对话框中对项目进行命名,点击[finish] 新建项目-> 点击项目右键-> MyEclips ...

  6. python 简单谈谈&OpenCurlyDoubleQuote;类”

    文章出处:http://www.cnblogs.com/winstic/,请保留此连接 面向对象是python语言的一大特色,而类又是面向对象编程的核心 先来一段关于类的声明: class myCla ...

  7. linux修改环境变量

    /etc/profile 系统全局环境变量设定,所有用户共享,修改后,需要重启系统才能生效 ~/.bash_profile,~/.bashrc 用户目录下的私有环境变量设定,常用来个性化定制功能,修改 ...

  8. Oracle Licensing

    Oracle根据什么来计算License的? Unlimited License Agreements Unlimited License Agreements通常简称ULA,表示在一个固定期限内(2 ...

  9. springboot&lpar;十九&rpar;:使用Spring Boot Actuator监控应用

    微服务的特点决定了功能模块的部署是分布式的,大部分功能模块都是运行在不同的机器上,彼此通过服务调用进行交互,前后台的业务流会经过很多个微服务的处理和传递,出现了异常如何快速定位是哪个环节出现了问题? ...

  10. Linux关机总结

    立刻关机 root@ubuntu17:~# shutdown -h now 100分钟后关机 root@ubuntu17:~# shutdown -h + Shutdown scheduled -- ...