【HBase入门】2. 集群搭建
创始人
2024-05-16 01:33:00
0

安装

上传解压HBase安装包

tar -xvzf hbase-2.1.0.tar.gz -C ../server/

修改HBase配置文件

  1. hbase-env.sh
cd /export/server/hbase-2.1.0/conf
vim hbase-env.sh
# 第28行
export JAVA_HOME=/export/server/jdk1.8.0_241/
export HBASE_MANAGES_ZK=false
  1. hbase-site.xml
    vim hbase-site.xml
hbase.rootdirhdfs://node1.itcast.cn:8020/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumnode1.itcast.cn,node2.itcast.cn,node3.itcast.cnhbase.zookeeper.property.dataDir/export/server/apache-zookeeper-3.6.0-bin/datahbase.unsafe.stream.capability.enforcefalse

配置环境变量

  1. 配置Hbase环境变量
vim /etc/profile
export HBASE_HOME=/export/server/hbase-2.1.0
export PATH=$PATH:${HBASE_HOME}/bin:${HBASE_HOME}/sbin
  1. 加载环境变量
    source /etc/profile

复制jar包到lib

cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/

修改regionservers文件

vim regionservers
node1.itcast.cn
node2.itcast.cn
node3.itcast.cn

分发安装包与配置文件

cd /export/server
scp -r hbase-2.1.0/ node2.itcast.cn:$PWD
scp -r hbase-2.1.0/ node3.itcast.cn:$PWD
scp -r /etc/profile node2.itcast.cn:/etc
scp -r /etc/profile node3.itcast.cn:/etc

在node2.itcast.cn和node3.itcast.cn加载环境变量
source /etc/profile

启动HBase

cd /export/onekey

  1. 启动ZK
    ./start-zk.sh
  2. 启动hadoop
    start-dfs.sh
  3. 启动hbase
    start-hbase.sh

验证Hbase是否启动成功

  1. 启动hbase shell客户端
    hbase shell
  2. 输入status
[root@node1 onekey]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/export/server/hadoop-2.7.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hbase-2.1.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
Version 2.1.0, re1673bb0bbfea21d6e5dba73e013b09b8b49b89b, Tue Jul 10 17:26:48 CST 2018
Took 0.0034 seconds                                                                                                                                           
Ignoring executable-hooks-1.6.0 because its extensions are not built. Try: gem pristine executable-hooks --version 1.6.0
Ignoring gem-wrappers-1.4.0 because its extensions are not built. Try: gem pristine gem-wrappers --version 1.4.0
2.4.1 :001 > status
1 active master, 0 backup masters, 3 servers, 0 dead, 0.6667 average load
Took 0.4562 seconds                                                                                                                                           
2.4.1 :002 >

Web UI

在这里插入图片描述

安装目录说明

目录名说明
bin所有hbase相关的命令都在该目录存放
conf所有的hbase配置文件
hbase-webappshbase的web ui程序位置
libhbase依赖的java库
logshbase的日志文件

参考硬件配置

针对大概800TB存储空间的集群中每个Java进程的典型内存配置:

进程描述
NameNode8 GB每100TB数据或每100W个文件大约占用NameNode堆1GB的内存
SecondaryNameNode8GB在内存中重做主NameNode的EditLog,因此配置需要与NameNode一样
DataNode1GB适度即可
ResourceManager4GB适度即可(注意此处是MapReduce的推荐配置)
NodeManager2GB适当即可(注意此处是MapReduce的推荐配置)
HBase HMaster4GB轻量级负载,适当即可
HBase RegionServer12GB大部分可用内存、同时为操作系统缓存、任务进程留下足够的空间
ZooKeeper1GB适度

推荐:

  1. Master机器要运行NameNode、ResourceManager、以及HBase HMaster,推荐24GB左右
  2. Slave机器需要运行DataNode、NodeManager和HBase RegionServer,推荐24GB(及以上)
  3. 根据CPU的核数来选择在某个节点上运行的进程数,例如:两个4核CPU=8核,每个Java进程都可以独立占有一个核(推荐:8核CPU)
  4. 内存不是越多越好,在使用过程中会产生较多碎片,Java堆内存越大, 会导致整理内存需要耗费的时间越大。例如:给RegionServer的堆内存设置为64GB就不是很好的选择,一旦FullGC就会造成较长时间的等待,而等待较长,Master可能就认为该节点已经挂了,然后移除掉该节点

相关内容

热门资讯

严惩危害食品安全犯罪 山西省法... 为进一步震慑涉食品安全违法犯罪,近日,省法院围绕“尚德守法 共享食安”主题,发布5起依法严惩危害食品...
山东发布政策助力产业点“木”成... 从“一棵树”里能看到什么?过去,木头进去,白花花的纸张出来,这就到头了;今后,“一棵树”将发生七十二...
财经观察:免签政策打开中韩旅游... 【环球时报记者 杨沙沙 涂蕾 环球时报驻韩国特约记者 黎枳银】编者的话:在刚刚过去的国庆中秋假期,中...
专家:稳投资、稳消费、稳外贸等... 四季度是全年经济工作冲刺的收官季,也是谋划下一年发展的关键期。近期,从中央到地方,一揽子宏观政策持续...
以制度刚性保障校园食品安全 保障校园食品安全是守护青少年健康成长的底线工程,牵动着千万家庭的神经。最近几起相关案例引发社会广泛关...
山西:五类行政诉讼案 行政机关... 省政府办公厅近日公布《山西省行政机关行政应诉办法》。其中明确,5类行政诉讼案件无正当事由的,行政机关...
郑州考区2025年国家统一法律... 本报讯(记者 徐富盈 通讯员 李冬)昨日,郑州考区2025年国家统一法律职业资格考试主观题考试举行。...
山东新潮能源股份有限公司关于涉... 本公司第十三届董事会及第十三届董事会董事保证本公告内容不存在任何虚假记载、误导性陈述或者重大遗漏,并...
商务部新闻发言人就近期中方相关... 有记者问:10月9日,商务部、海关总署发布公告,对相关稀土物项实施出口管制。请问中方有什么考虑? 答...
本币互换对我国经济有何作用(政... 9月,中国人民银行与欧央行、瑞士央行、匈牙利央行续签双边本币互换协议;8月18日,与泰国银行续签双边...