HBase官方指南(2015最新版本)-配置详解篇-for-baidu(2)

Apache Hbase最新官网指南中文翻译 详细配置调优篇

hbase.regionserver.thrift.framed.max_frame_size_in_mb .. 78 hbase.regionserver.thrift.compact .................................................. 78 hbase.rootdir.perms ................................................................................... 78 hbase.data.umask.enable .......................................................................... 79 hbase.data.umask .......................................................................................... 79 hbase.metrics.showTableName ................................................................ 79 hbase.metrics.exposeOperationTimes ............................................... 79 hbase.snapshot.enabled ............................................................................ 80 hbase.snapshot.restore.take.failsafe.snapshot ..................... 80 hbase.snapshot.restore.failsafe.name ........................................... 80 hbase.server.compactchecker.interval.multiplier ................ 80 hbase.lease.recovery.timeout .............................................................. 81 hbase.lease.recovery.dfs.timeout .................................................... 81 hbase.column.max.version ....................................................................... 81 dfs.client.read.shortcircuit .............................................................. 82 dfs.domain.socket.path ............................................................................ 82 hbase.dfs.client.read.shortcircuit.buffer.size ................... 82 hbase.regionserver.checksum.verify ............................................... 82 hbase.hstore.bytes.per.checksum ....................................................... 83 hbase.hstore.checksum.algorithm ....................................................... 83 hbase.client.scanner.max.result.size ........................................... 83 hbase.server.scanner.max.result.size ........................................... 84 hbase.status.published ............................................................................ 84 hbase.status.publisher.class .............................................................. 84 hbase.status.listener.class ................................................................ 85 hbase.status.multicast.address.ip .................................................. 85 hbase.status.multicast.address.port ............................................. 85 hbase.dynamic.jars.dir ............................................................................ 85 hbase.security.authentication ........................................................... 86 hbase.rest.filter.classes ..................................................................... 86 hbase.master.loadbalancer.class ....................................................... 86 hbase.master.normalizer.class ........................................................... 86 hbase.security.exec.permission.checks ........................................ 87 hbase.procedure.regionserver.classes ........................................... 87 hbase.procedure.master.classes ......................................................... 87 hbase.coordinated.state.manager.class ........................................ 88 hbase.regionserver.storefile.refresh.period .......................... 88 hbase.region.replica.replication.enabled ................................. 88 hbase.http.filter.initializers ......................................................... 89 hbase.security.visibility.mutations.checkauths ................... 89 hbase.http.max.threads ............................................................................ 89 hbase.replication.rpc.codec ................................................................ 90 hbase.replication.source.maxthreads ............................................. 90 hbase.http.staticuser.user .................................................................. 90

6

Apache Hbase最新官网指南中文翻译 详细配置调优篇

hbase.regionserver.handler.abort.on.error.percent ............ 91 hbase.mob.file.cache.size ..................................................................... 91 hbase.mob.cache.evict.period .............................................................. 91 hbase.mob.cache.evict.remain.ratio ............................................... 91 hbase.mob.sweep.tool.compaction.ratio ........................................ 92 hbase.mob.sweep.tool.compaction.mergeable.size ................... 92 hbase.mob.sweep.tool.compaction.memstore.flush.size ....... 92 hbase.master.mob.ttl.cleaner.period ............................................. 93 hbase.mob.compaction.mergeable.threshold ................................. 93 hbase.mob.delfile.max.count ................................................................ 93 hbase.mob.compaction.batch.size ....................................................... 94 hbase.mob.compaction.chore.period .................................................. 94 hbase.mob.compactor.class ..................................................................... 95 hbase.mob.compaction.threads.max .................................................... 95 hbase.snapshot.master.timeout.millis ........................................... 95 hbase.snapshot.region.timeout ........................................................... 96 7.3 hbase-env.sh .............................................................................................................. 96 7.4 log4j.properties ......................................................................................................... 96 7.5 客户端连接到HBase的配置和依赖 ...................................................................... 97

7.5.1 java client 端配置 ......................................................................................... 98

8.配置实例 .............................................................................................................................. 98

8.1HBase基本的分布式配置 ......................................................................................... 98

8.1.1hbase-site.xml ................................................................................................. 98 8.1.2. regionservers ................................................................................................. 99 8.1.3. hbase-env.sh ................................................................................................ 100 9.重要的配置 ........................................................................................................................ 100

9.1必须的配置 ............................................................................................................. 100

9.1.1 大集群配置 ................................................................................................. 101 9.1.2 如果有backup Master，请将primary Master配置为fail fast ................ 101 9.2推荐配置 ................................................................................................................. 101

9.2.1zookeeper 配置 ............................................................................................ 101

zookeeper.session.timeout ........................................................... 101 Number of ZooKeeper Instances ............................................................. 102 9.2.2 HDFS配置 .................................................................................................... 102

dfs.datanode.failed.volumes.tolerated..................................................... 102 9.2.3. hbase.regionserver.handler.count ....................................... 102 9.2.4. 配置大内存的机器 ................................................................................... 103 9.2.5压缩 ............................................................................................................. 103 9.2.6. 配置WAL 文件的数量和大小................................................................ 103 9.2.7. Managed Splitting（管理region切分） ............................................... 104 9.2.8. 管理合并（Managed Compactions） .................................................. 105 9.2.9. 预测执行（Speculative Execution） .................................................... 106 9.3. 其他配置（Other Configurations） ................................................................. 106

9.3.1. 负载均衡（Balancer） ........................................................................... 106

7

Apache Hbase最新官网指南中文翻译 详细配置调优篇

9.3.2. 禁止块缓存（Disabling Blockcache） ................................................. 106 9.3.3. Nagle算法或小包问题（Nagle’s or the small package problem） .... 107 9.3.4.更好的平均恢复时间（ Better Mean Time to Recover (MTTR)） .... 107 9.3.5. JMX ............................................................................................................ 109

10. 动态配置（Dynamic Configuration） ........................................................................ 111

8

Apache Hbase最新官网指南中文翻译 详细配置调优篇

Apache HBase 配置

本章在上一章的基础之上进一不深入介绍Apache Hbase的配置。请你仔细阅读这一章，尤其是哪些【基本要求】，这将让你顺利的进行测试和部署，并防止数据丢失。

3.配置文件

apache hbase和apache hadoop采用一样的配置系统。集群中所有的节点都必须同步配置文件到conf/目录。

HBase 配置文件描述 backup-masters

默认情况下这个文件是不存在的。这是一个用来记录在HMster节点上需要启动bakeup Master进程的主机清单，一个主机一行，明文存储。

hadoop-metrics2-hbase.properties

用来连接hbase Hadoop Metrics2 框架。更多信息请参考 Hadoop Wiki entry。

hbase-env.cmd and hbase-env.sh

分别是在windows和linux下hbase的工作环境设置文件，包括java的安装目录，java的配置信息和其他环境参数。这个文件中有一些注释掉的配置例子。

hbase-policy.xml

9

Apache Hbase最新官网指南中文翻译 详细配置调优篇

默认策略采用RPC服务器对客户端的授权策略。只有当HBase security启动时才有效。

hbase-site.xml

主要的HBase配置文件。这个文件中的配置信息将覆盖默认配置。你可以参考/docs/hbase-default.xml文件中的默认配置，但不要编辑它，仅仅参考就可以了。当然你也可以同过HBase的web ui中的HBase Configuration标签下查看你整个集群的有效配置。

log4j.properties

通过log4j配置HBase的日志配置文件。

regionservers

一个用来记录需要启动regionServer进程主机的明文文件。默认情况下只有localhost一条记录。这个文件中记录着主机名或ip地址清单，一行一个，如果集群中的任何要在其localhost接口上运行regionServer的节点，在这个文件中只能包含localhost一条记录。

注意： 检查XML的有效性 建议你采用XML-aware编辑器来编辑你的xml文件，以保证你的xml文件语法正确和合法的。 当然你也可以采用xmllint utility来检查你的xml的合法性。 默认情况下xmllint会将文件显示在显示器上。应用xmllint的命令xmllint -noout finame.xml 来检查xml的合法性时，当有错误存在是仅仅会打印不合法的信息。 10

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库HBase官方指南(2015最新版本)-配置详解篇-for-baidu(2)在线全文阅读。