Kafka安装与配置
创始人
2024-03-15 16:15:12
0

1、Java环境为前提

(1)上传jdk-8u261-linux-x64.rpm到服务器并安装:

rpm -ivh jdk-8u261-linux-x64.rpm

(2)配置环境变量:

vim /etc/profile

# 生效
source /etc/profile
# 验证
java -version

 

2、Zookeeper的安装配置 

(1)上传zookeeper-3.4.14.tar.gz到服务器

(2)解压到/opt:

tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg# 编辑zoo.cfg文件
vim zoo.cfg

(3)修改Zookeeper保存数据的目录,dataDir:

dataDir=/var/lagou/zookeeper/data

(4)编辑/etc/profile:

  • 设置环境变量ZOO_LOG_DIR,指定Zookeeper保存日志的位置;
  • ZOOKEEPER_PREFIX指向Zookeeper的解压目录;
  • 将Zookeeper的bin目录添加到PATH中:

(5) 使配置生效

source /etc/profile

(6)验证:

 

3、Kafka的安装与配置

(1)上传kafka_2.12-1.0.2.tgz到服务器并解压:

tar -zxf kafka_2.12-1.0.2.tgz -C /opt

(2)配置环境变量并生效:

vim /etc/profile

(3) 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件:

        Kafka连接Zookeeper的地址,此处使用本地启动的Zookeeper实例,连接地址是localhost:2181,后面的myKafka 是Kafka在Zookeeper中的根节点路径:

配置kafka日志存储目录 

log.dir=/var/kafka/kafka-logs

(4)启动Zookeeper:

zkServer.sh start

(5)确认Zookeeper的状态:

(6) 启动Kafka:进入Kafka安装的根目录,执行如下命令:

启动成功,可以看到控制台输出的最后一行的started状态: 

(7) 查看Zookeeper的节点:(zkCli.sh 命令进入zookeeper控制台)

 (8)此时Kafka是前台模式启动,要停止,使用Ctrl+C。

如果要后台启动,使用命令:

kafka-server-start.sh -daemon config/server.properties

 查看Kafka的后台进程:

ps aux | grep kafka

停止后台运行的Kafka:

 

4、生产与消费

4.1、kafka-topics.sh 用于管理主题。

# 列出现有的主题
[root@node1 ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# 创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 查看分区信息
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 查看指定主题的详细信息
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_1
# 删除指定主题
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_1

4.2、kafka-console-producer.sh用于生产消息:

# 开启生产者
[root@node1 ~]# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092

4.3、3、kafka-console-consumer.sh用于消费消息:

# 开启消费者
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
# 开启消费者方式二,从头消费,不按照偏移量消费
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning

相关内容

热门资讯

原创 新... 最近几个赛季,孙铭徽一直都被视为广厦的“小外援”,距离他上一次场均得分不到两位数,还要追溯到2018...
意大利要求Meta暂停禁止竞争... 意大利已下令Meta公司暂停其禁止企业在WhatsApp上使用商业工具提供自家AI聊天机器人的政策。...
山西证券(002500)披露现... 截至2025年12月25日收盘,山西证券(002500)报收于6.11元,较前一交易日上涨0.33%...
瑞典北部发生暴力犯罪事件,多人... 斯德哥尔摩消息:据瑞典媒体报道,25日圣诞节当天,瑞典北部布登市中心城区发生一起暴力犯罪事件,多人受...
博世科及子公司累计新增诉讼、仲... 12月25日,博世科(300422)发布公告,自2025年7月29日至2025年12月24日,公司及...
阳泉市郊区靶向发力精准落实低保... “民生无小事,枝叶总关情。”群众的“急难愁盼”就是监督的发力点。山西省阳泉市郊区纪委监委、阳泉市郊区...
公开背刺?亨特·拜登批评其父移... 亨特·拜登,美国前总统乔·拜登之子,在一档新播出的访谈节目中,就其父亲宽松的移民政策以及从阿富汗撤军...
倍轻松因涉嫌违反证券法律法规等... 证券之星消息,12月26日倍轻松公开信息显示,深圳市倍轻松科技股份有限公司,董事长马学军因涉嫌违反证...
22岁小伙深夜在河边喝酒落水溺... 小伙高某晚上跟3个朋友在饭店喝酒,之后跟其中两人到大渡口边继续喝酒聊天期间不幸溺亡。事后,家属将共同...