77范文网 - 专业文章范例文档资料分享平台

HBase官方指南(2015最新版本)-配置详解篇-for-baidu(4)

来源:网络收集 时间:2018-12-08 下载这篇文档 手机版
说明:文章内容仅供预览,部分内容可能不全,需要完整文档或者需要复制内容,请下载word后使用。下载word有问题请添加微信号:或QQ: 处理(尽可能给您提供完整文档),感谢您的支持与谅解。点击这里给我发消息

Apache Hbase最新官网指南中文翻译 详细配置调优篇

HBase-0.94.x HBase-0.98.x (Support for Hadoop 1.1+ is deprecated.) Hadoop-1.0.x Hadoop-1.1.x Hadoop-0.23.x Hadoop-2.0.x-alpha Hadoop-2.1.0-beta Hadoop-2.2.0 Hadoop-2.3.x Hadoop-2.4.x Hadoop-2.5.x Hadoop-2.6.x Hadoop-2.7.0 X S S NT NT NT NT NT NT X X X NT X X X S S S S X X X X X X X NT NT S S X X X X X X X NT NT S S X X X X X X X NT NT S S X X HBase-1.0.x (Hadoop 1.x is NOT supported) HBase-1.1.x HBase-1.2.x 16

Apache Hbase最新官网指南中文翻译 详细配置调优篇

HBase-0.94.x HBase-0.98.x (Support for Hadoop 1.1+ is deprecated.) HBase-1.0.x (Hadoop 1.x is NOT supported) HBase-1.1.x HBase-1.2.x Hadoop-2.7.1+ NT NT NT NT S

17

Apache Hbase最新官网指南中文翻译 详细配置调优篇

补充说明:

Hadoop 2.6.x

如果你计划将你的HBase运行在一个HDFS的加密分区上,那么你

的Hadoop必须是支持 HADOOP-11710的2.6.x版本。如果不是讲导致集群故障和丢失数据。

Hadoop 2.7.x

Hadoop2.7.x还没有经过完全测试,还没有稳定的发布版本。

替换hbase中绑定hadoop的jar

由于HBase依赖于Hadoop,所以在HBase的lib目录下有Hadoop的相关jar包。这个绑定的jar包只有在standalone模式下才起作用。在分布式模式下,它是用来鉴定Hadoop集群的版本与HBase下的版本是否一致的。你应该用集群中hadoop中的jar文件替换hbase lib目录下的hadoop jar文件以避免版本冲突。一定要确认在集群中所有有这个jar的地方都要替换。Hadoop版本不匹配问题有各种各样的表现,但通常它看起来像是挂起。

4.1.1 Apache HBase 0.94和Hadoop2

为了让0.94版本能运行在Hadoop2.2.0版本之上,你需要修改pom.xml文件中的hadoop2和protobuf版本。下面是修改的地方:

$ svn diff pom.xml Index: pom.xml

===================================================================

--- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@

1.4.3 1.2.16

1.8.5

18

Apache Hbase最新官网指南中文翻译 详细配置调优篇

- 2.4.0a + 2.5.0 1.0.1 0.8.0

3.4.5 @@ -2241,7 +2241,7 @@

- 2.0.0-alpha + 2.2.0 1.6.1

接下来是重新生成Protobuf文件,当然需要先安装Protobuf。 ? 从命令行进入HBase的根目录; ? 运行以下命令

$ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto

$ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto 应用如下命令重新构建Hadoop2

$ mvn clean install assembly:single -Dhadoop.profile=2.0 -DskipTests

4.1.2 Apache HBase0.92和0.94

这两个版本都可以运行在Hadoop 0.20.205, 0.22.x, 1.0.x, and 1.1.x版本之上。

此外通过使用指定的maven配置文件重新编译后HBase0.94还能运行在 Hadoop-0.23.x and 2.x版本之上。

4.1.3 Apache HBase 0.96

HBase0.96支持的最低Hadoop版本为 1.0.x。强烈建议使用Hadoop2以上

版本(不仅更快而且更有利于系统稳定和故障回复)。我们将不再对老版本

19

Apache Hbase最新官网指南中文翻译 详细配置调优篇

hadoop进行支持比如 0.20.205 or branch-0.20-append。如果你的Hadoop不能升级请不要升级HBase到0.96.。参考HBase, mail # dev - DISCUSS: Have hbase require at least hadoop 1.0.0 in hbase 0.96.0?

4.1.4 Hadoop 0.20.x-1.x

如果不是运行在持续更新的HDFS之上那么HBase将会丢失数据。所以不建议使用Hadoop0.20.2版本和Hadoop 0.20.203.0,Hadoop 0.20.204.0这些没有

持续更新的版本。目前只有 0.20.205.x或之上的发布版本,包括 hadoop-1.0.0还在继续持续更新维护。Charles Zedlweski在Cloudera博客上发布的An update on Apache Hadoop 1.0很好的说明了各版本Hadoop之间的关系。如果你限于

hadoop版本的泥沼之中的话值得你一看。

要实现同步更新必须在客户端hbase-site.xml文件中显示的配置

dfs.support.append属性,在服务器端配置hdfs-site.xml文件(HBase所需要的同步更新工具是附加代码路径的一个子集;

dfs.support.append true

更新完这个配置后你需要重新启动你的集群。忽略那些你在hdfs-default.xml 和

配置dfs.support.append的描述中的的小评论。

4.1.5 运行在安全的Hadoop上的HBase

只要你按上面的建议用安全的Hadoopjar包替换Hbase中自带的jar包就可以使HBase运行在具备安全特性的Hadoop0.20.x版本之上。如果你想得到更多关于怎么配置安全的HBase的信息请参考 hbase.secure.configuration。

20

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读,免费范文网,提供经典小说综合文库HBase官方指南(2015最新版本)-配置详解篇-for-baidu(4)在线全文阅读。

HBase官方指南(2015最新版本)-配置详解篇-for-baidu(4).doc 将本文的Word文档下载到电脑,方便复制、编辑、收藏和打印 下载失败或者文档不完整,请联系客服人员解决!
本文链接:https://www.77cn.com.cn/wenku/zonghe/352529.html(转载请注明文章来源)
Copyright © 2008-2022 免费范文网 版权所有
声明 :本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
客服QQ: 邮箱:tiandhx2@hotmail.com
苏ICP备16052595号-18
× 注册会员免费下载(下载后可以自由复制和排版)
注册会员下载
全站内容免费自由复制
注册会员下载
全站内容免费自由复制
注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: