【HBase入门】2. 集群搭建
创始人
2024-05-16 01:33:00
0

安装

上传解压HBase安装包

tar -xvzf hbase-2.1.0.tar.gz -C ../server/

修改HBase配置文件

  1. hbase-env.sh
cd /export/server/hbase-2.1.0/conf
vim hbase-env.sh
# 第28行
export JAVA_HOME=/export/server/jdk1.8.0_241/
export HBASE_MANAGES_ZK=false
  1. hbase-site.xml
    vim hbase-site.xml
hbase.rootdirhdfs://node1.itcast.cn:8020/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumnode1.itcast.cn,node2.itcast.cn,node3.itcast.cnhbase.zookeeper.property.dataDir/export/server/apache-zookeeper-3.6.0-bin/datahbase.unsafe.stream.capability.enforcefalse

配置环境变量

  1. 配置Hbase环境变量
vim /etc/profile
export HBASE_HOME=/export/server/hbase-2.1.0
export PATH=$PATH:${HBASE_HOME}/bin:${HBASE_HOME}/sbin
  1. 加载环境变量
    source /etc/profile

复制jar包到lib

cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/

修改regionservers文件

vim regionservers
node1.itcast.cn
node2.itcast.cn
node3.itcast.cn

分发安装包与配置文件

cd /export/server
scp -r hbase-2.1.0/ node2.itcast.cn:$PWD
scp -r hbase-2.1.0/ node3.itcast.cn:$PWD
scp -r /etc/profile node2.itcast.cn:/etc
scp -r /etc/profile node3.itcast.cn:/etc

在node2.itcast.cn和node3.itcast.cn加载环境变量
source /etc/profile

启动HBase

cd /export/onekey

  1. 启动ZK
    ./start-zk.sh
  2. 启动hadoop
    start-dfs.sh
  3. 启动hbase
    start-hbase.sh

验证Hbase是否启动成功

  1. 启动hbase shell客户端
    hbase shell
  2. 输入status
[root@node1 onekey]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/export/server/hadoop-2.7.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hbase-2.1.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
Version 2.1.0, re1673bb0bbfea21d6e5dba73e013b09b8b49b89b, Tue Jul 10 17:26:48 CST 2018
Took 0.0034 seconds                                                                                                                                           
Ignoring executable-hooks-1.6.0 because its extensions are not built. Try: gem pristine executable-hooks --version 1.6.0
Ignoring gem-wrappers-1.4.0 because its extensions are not built. Try: gem pristine gem-wrappers --version 1.4.0
2.4.1 :001 > status
1 active master, 0 backup masters, 3 servers, 0 dead, 0.6667 average load
Took 0.4562 seconds                                                                                                                                           
2.4.1 :002 >

Web UI

在这里插入图片描述

安装目录说明

目录名说明
bin所有hbase相关的命令都在该目录存放
conf所有的hbase配置文件
hbase-webappshbase的web ui程序位置
libhbase依赖的java库
logshbase的日志文件

参考硬件配置

针对大概800TB存储空间的集群中每个Java进程的典型内存配置:

进程描述
NameNode8 GB每100TB数据或每100W个文件大约占用NameNode堆1GB的内存
SecondaryNameNode8GB在内存中重做主NameNode的EditLog,因此配置需要与NameNode一样
DataNode1GB适度即可
ResourceManager4GB适度即可(注意此处是MapReduce的推荐配置)
NodeManager2GB适当即可(注意此处是MapReduce的推荐配置)
HBase HMaster4GB轻量级负载,适当即可
HBase RegionServer12GB大部分可用内存、同时为操作系统缓存、任务进程留下足够的空间
ZooKeeper1GB适度

推荐:

  1. Master机器要运行NameNode、ResourceManager、以及HBase HMaster,推荐24GB左右
  2. Slave机器需要运行DataNode、NodeManager和HBase RegionServer,推荐24GB(及以上)
  3. 根据CPU的核数来选择在某个节点上运行的进程数,例如:两个4核CPU=8核,每个Java进程都可以独立占有一个核(推荐:8核CPU)
  4. 内存不是越多越好,在使用过程中会产生较多碎片,Java堆内存越大, 会导致整理内存需要耗费的时间越大。例如:给RegionServer的堆内存设置为64GB就不是很好的选择,一旦FullGC就会造成较长时间的等待,而等待较长,Master可能就认为该节点已经挂了,然后移除掉该节点

相关内容

热门资讯

关于调整武汉市2025年汽车以... 广大消费者及汽车销售企业: 感谢广大消费者及汽车销售企业积极参与和关注我市汽车以旧换新工作。经研究,...
女儿称范曾被妻子带走不知所终,... 极目新闻记者 郭迩 8月16日,一则关于著名书画大师范曾的消息在网络上引发轩然大波。16日下午,范曾...
“3女带4孩续面”当事人表示不... 近日“3名女子带4个孩子多次续面”事件引发热议,8月15日,双方曾签署调解协议书,就此事达成和解,商...
【贵人服务】法律援助中心查询指... 生活中遇到法律问题却不知如何解决?别担心!法律援助中心为您提供免费、专业的法律帮助,让每一位公民的合...
云南:法律知识“喝”着学 “咖... 央广网昆明8月17日消息(记者 魏文青)风从滇池来,满是咖啡香。8月16日,2025年“法润彩云南”...
人民财评:政策支撑动能接力 消... 庄红韬 核心CPI同比上涨0.8%且涨幅连续三个月扩大,呈现出积极变化;服务价格环比上涨0.6%,涨...
主人欠钱狸花猫被法院拍卖抵债起... 家人们谁懂啊?连小猫咪都要为铲屎官的糊涂账 “背锅”了! 近日,扬州经济技术开发区人民法院在阿里资产...
晓鸣股份:发布对外投资管理制度 金融界8月17日消息,晓鸣股份公告称,为规范公司的对外投资行为,提高投资效益,规避风险,公司制定对外...
当法律人遇上AI:法学届是如何... 每经记者|吴泽鹏 每经编辑|文多 商业场景里,一键导入合同后数秒即可完成审查,匹配实时司法数据后可...
续面女顾客:不再和解,将起诉面... 近日“3名女子带4个孩子多次续面”事件引发热议,8月15日,双方曾签署调解协议书,就此事达成和解,商...