返回顶部
首页 > 资讯 > 数据库 >kafka3.X集群安装(不使用zookeeper)
  • 519
分享到

kafka3.X集群安装(不使用zookeeper)

zookeeper分布式kafka 2023-10-26 05:10:09 519人浏览 泡泡鱼
摘要

参考: 【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本 一、kafka集群实例角色规划 在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为

参考: 【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本

一、kafka集群实例角色规划

在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将ZooKeeper去掉。

上图中黑色代表broker(消息代理服务),褐色/蓝色代表Controller(集群控制器服务)

  • 左图(kafka2.0):一个集群所有节点都是broker角色,kafka从三个broker中选举出来一个Controller控制器,控制器将集群元数据信息(比如主题分类、消费进度等)保存到zookeeper,用于集群各节点之间分布式交互。
  • 右图(kafka3.0):假设一个集群有四个broker,指定三个作为Conreoller角色(蓝色),从三个Controller中选举出来一个Controller作为主控制器(褐色),其他的2个备用。zookeeper不再被需要!相关的元数据信息以kafka日志的形式存在(即:以消息队列消息的形式存在)。
  • controller通信端口:9093, 作用与zk的2181端口类似 。

在搭建kafka3.0集群之前, 我们需要先做好kafka实例角色规划。(四个broker, 需要通过主动配置指定三个作为Controller, Controller需要奇数个, 这一点和zk是一样的)

主机名称ip角色node.id
kafka-vm1192.168.1.111broker,controller1
kafka-vm2192.168.1.112broker,controller2
kafka-vm3192.168.1.113broker,controller3
kafka-vm4192.168.1.114broker4

二、准备工作

  • kafka3.x不再支持jdk8,建议安装JDK11或JDK17。
  • 新建kafka持久化日志数据mkdir -p /data/kafka;并保证安装kafka的用户具有该目录的读写权限。

各个机器节点执行:

    
  1. # 安装jdk(kafka3.x不再支持JDK8,建议安装JDK11或JDK17, 这里安装jdk11)
  2. # 下载安装jdk11, 参考: https://blog.csdn.net/justlpf/article/details/127268046
  3. # 下载kafka
  4. adduser kafka
  5. cd /opt
  6. wget Https://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz
  7. tar -xf kafka_2.12-3.3.1.tgz
  8. chown -R kafka:kafka kafka_2.12-3.3.1*
  9. mkdir -p /data/kafka
  10. chown -R kafka:kafka /data/kafka
vi /etc/hosts,各个节点,添加如下内容:
      
  1. 192.168.1.111 data-vm1
  2. 192.168.1.112 data-vm2
  3. 192.168.1.113 data-vm3
  4. 192.168.1.114 data-vm4

三、修改Kraft协议配置文件

在kafka3.x版本中,使用Kraft协议代替zookeeper进行集群的Controller选举,所以要针对它进行配置。

vi /opt/kafka_2.12-3.3.1/config/kraft/server.properties      

具体配置参数如下:

      
  1. # data-vm1节点
  2. node.id=1
  3. process.roles=broker,controller
  4. listeners=PLAINTEXT://data-vm1:9092,CONTROLLER://data-vm1:9093
  5. advertised.listeners=PLAINTEXT://:9092
  6. controller.quorum.voters=1@data-vm1:9093,2@data-vm2:9093,3@data-vm3:9093
  7. log.dirs=/data/kafka/
  8. # data-vm2节点
  9. node.id=2
  10. process.roles=broker,controller
  11. listeners=PLAINTEXT://data-vm2:9092,CONTROLLER://data-vm2:9093
  12. advertised.listeners=PLAINTEXT://:9092
  13. controller.quorum.voters=1@data-vm1:9093,2@data-vm2:9093,3@data-vm3:9093
  14. log.dirs=/data/kafka/
  15. # data-vm3节点
  16. node.id=3
  17. process.roles=broker,controller
  18. listeners=PLAINTEXT://data-vm3:9092,CONTROLLER://data-vm3:9093
  19. advertised.listeners=PLAINTEXT://:9092
  20. controller.quorum.voters=1@data-vm1:9093,2@data-vm2:9093,3@data-vm3:9093
  21. log.dirs=/data/kafka/
  • node.id:这将作为集群中的节点 ID,唯一标识,按照我们事先规划好的(上文),在不同的服务器上这个值不同。其实就是kafka2.0中的broker.id,只是在3.0版本中kafka实例不再只担任broker角色,也有可能是controller角色,所以改名叫做node节点。
  • process.roles:一个节点可以充当broker或controller或两者兼而有之。按照我们事先规划好的(上文),在不同的服务器上这个值不同。多个角色用逗号分开。
  • listeners: broker将使用9092端口,而kraft controller控制器将使用9093端口。
  • advertised.listeners: 这里指定kafka通过代理暴漏的地址,如果都是局域网使用,就配置PLAINTEXT://:9092即可。
  • controller.quorum.voters:这个配置用于指定controller主控选举的投票节点,所有process.roles包含controller角色的规划节点都要参与,即:zimug1、zimug2、zimug3。其配置格式为:node.id1@host1:9093,node.id2@host2:9093
  • log.dirs:kafka 将存储数据的日志目录,在准备工作中创建好的目录。

所有kafka节点都要按照上文中的节点规划进行配置,完成config/kraft/server.properties配置文件的修改。

四、格式化存储目录

生成一个唯一的集群ID(在一台kafka服务器上执行一次即可),这一个步骤是在安装kafka2.0版本的时候不存在的。

      
  1. $ /opt/kafka_2.12-3.3.1/bin/kafka-storage.sh random-uuid
  2. SzIhECn-QbCLzIuNxk1A2A

使用生成的集群ID+配置文件格式化存储目录log.dirs,

所以这一步确认配置及路径确实存在,

并且kafka用户有访问权限(检查准备工作是否做对)。

每一台主机服务器都要执行命令:

      
  1. /opt/kafka_2.12-3.3.1/bin/kafka-storage.sh fORMat \
  2. -t SzIhECn-QbCLzIuNxk1A2A \
  3. -c /opt/kafka_2.12-3.3.1/config/kraft/server.properties

格式化操作完成之后,log.dirs​目录下多出一个Meta.properties文件​,存储了当前的kafka节点的id(node.id),当前节点属于哪个集群(cluster.id)

    
  1. [root@data-vm2 ~] # ll /data/kafka/
  2. 总用量 8
  3. -rw-r--r--. 1 root root 249 10月 11 18:23 bootstrap.checkpoint
  4. -rw-r--r--. 1 root root 86 10月 11 18:23 meta.properties
  5. $ cat /data/kafka/meta.properties
  6. #
  7. #Tue Apr 12 07:39:07 CST 2022
  8. node.id=1
  9. version=1
  10. cluster.id=SzIhECn-QbCLzIuNxk1A2A

五、 启动集群,完成基础测试

zimug1 zimug2 zimug3是三台应用服务器的主机名称(参考上文中的角色规划),实现方式已经在本专栏《linux主机与ip解析》中进行了说明。将下面的命令集合保存为一个shell脚本,并赋予执行权限。执行该脚本即可启动kafka集群所有的节点,前提是:你已经按照本专栏的《集群各节点之间的ssh免密登录》安装方式做了集群各节点之间的ssh免密登录。

启动命令:

    
  1. bin/kafka-server-start.sh \
  2. /opt/kafka_2.12-3.3.1/config/kraft/server.properties
  3. # 后台运行
  4. nohup bin/kafka-server-start.sh \
  5. /opt/kafka_2.12-3.3.1/config/kraft/server.properties 2>&1 &

脚本: 

    
  1. #!/bin/bash
  2. kafkaServers= 'data-vm1 data-vm2 data-vm3'
  3. #启动所有的kafka
  4. for kafka in $kafkaServers
  5. do
  6. ssh -T $kafka << EOF
  7. nohup /opt/kafka_2.12-3.3.1/bin/kafka-server-start.sh /opt/kafka_2.12-3.3.1/config/kraft/server.properties 1>/dev/null 2>&1 &
  8. EOF
  9. echo 从节点 $kafka 启动kafka3.0...[ done ]
  10. sleep 5
  11. done

六、一键停止集群脚本

一键停止kafka集群各节点的脚本,与启动脚本的使用方式及原理是一样的。

停止命令:

/opt/kafka_2.12-3.3.1/bin/kafka-server-stop.sh    

执行脚本:

    
  1. #!/bin/bash
  2. kafkaServers= 'data-vm1 data-vm2 data-vm3'
  3. #停止所有的kafka
  4. for kafka in $kafkaServers
  5. do
  6. ssh -T $kafka << EOF
  7. cd /opt/kafka_2.12-3.3.1
  8. bin/kafka-server-stop.sh
  9. EOF
  10. echo 从节点 $kafka 停止kafka...[ done ]
  11. sleep 5
  12. done

七、测试Kafka集群

7.1 创建topic

    
  1. [root@data-vm1 kafka_2.12-3.3.1] # bin/kafka-topics.sh \
  2. --create \
  3. --topic quickstart-events \
  4. --bootstrap-server data-vm4:9092
  5. Created topic quickstart-events.
  6. [root@data-vm1 kafka_2.12-3.3.1] #
  7. #
  8. [root@data-vm1 kafka_2.12-3.3.1] # bin/kafka-topics.sh \
  9. --create \
  10. --topic quickstart-events \
  11. --bootstrap-server data-vm1:9092,data-vm2:9092,data-vm3:9092

7.2 查看topic列表

    
  1. bin/kafka-topics.sh \
  2. --list \
  3. --bootstrap-server data-vm4:9092
  4. #
  5. bin/kafka-topics.sh \
  6. --list \
  7. --bootstrap-server data-vm1:9092,data-vm2:9092,data-vm3:9092,data-vm4:9092

7.3 查看消息详情

    
  1. [root@data-vm1 kafka_2.12-3.3.1] # bin/kafka-topics.sh \
  2. --describe \
  3. --topic quickstart-events \
  4. --bootstrap-server data-vm3:9092
  5. Topic: quickstart-events TopicId: zSOJC6wNRRGQ4MudfHLGvQ PartitionCount: 1 ReplicationFactor: 1 Configs: segment.bytes=1073741824
  6. Topic: quickstart-events Partition: 0 Leader: 1 Replicas: 1 Isr: 1
  7. [root@data-vm1 kafka_2.12-3.3.1] #

7.4 生产消息

    
  1. [root@data-vm1 kafka_2.12-3.3.1] # bin/kafka-console-producer.sh \
  2. --topic quickstart-events \
  3. --bootstrap-server data-vm1:9092
  4. # 参考: 创建并配置topic
  5. bin/kafka-topics.sh \
  6. --bootstrap-server localhost:9092 \
  7. --create \
  8. --topic my-topic \
  9. --partitions 1 \
  10. --replication-factor 1 \
  11. --config max.message.bytes=64000 \
  12. --config flush.messages=1
  13. # ------------------------- 参考 ------------------------ #
  14. # 1: 修改已创建topic配置
  15. # (Overrides can also be changed or set later using the alter configs command.)
  16. bin/kafka-configs.sh \
  17. --bootstrap-server localhost:9092 \
  18. --entity-type topics \
  19. --entity-name my-topic \
  20. --alter \
  21. --add-config max.message.bytes=128000
  22. # 2: 检查已修改的topic配置是否生效
  23. # (To check overrides set on the topic you can do)
  24. bin/kafka-configs.sh \
  25. --bootstrap-server localhost:9092 \
  26. --entity-type topics \
  27. --entity-name my-topic \
  28. --describe
  29. # 3. 恢复到原来的配置
  30. # (To remove an override you can do)
  31. bin/kafka-configs.sh \
  32. --bootstrap-server localhost:9092 \
  33. --entity-type topics \
  34. --entity-name my-topic \
  35. --alter \
  36. --delete-config max.message.bytes
  37. # 4. 增加分区数
  38. # (To add partitions you can do)
  39. bin/kafka-topics.sh \
  40. --bootstrap-server broker_host:port \
  41. --alter \
  42. --topic my_topic_name \
  43. --partitions 40
  44. # 5. 添加配置
  45. # (To add configs:)
  46. bin/kafka-configs.sh \
  47. --bootstrap-server broker_host:port \
  48. --entity-type topics \
  49. --entity-name my_topic_name \
  50. --alter \
  51. --add-config x=y
  52. # 6. 移除配置
  53. # (To remove a config:)
  54. bin/kafka-configs.sh \
  55. --bootstrap-server broker_host:port \
  56. --entity-type topics \
  57. --entity-name my_topic_name \
  58. --alter \
  59. --delete-config x
  60. # 7. 删除topic
  61. # (And finally deleting a topic:)
  62. bin/kafka-topics.sh \
  63. --bootstrap-server broker_host:port \
  64. --delete \
  65. --topic my_topic_name

7.5 消费消息

    
  1. bin/kafka-console-consumer.sh \
  2. --topic quickstart-events \
  3. --from-beginning \
  4. --bootstrap-server data-vm4:9092

7.6 查看消费者组

    
  1. # 检查消费者postition
  2. # Checking consumer position
  3. bin/kafka-consumer-groups.sh \
  4. --bootstrap-server localhost:9092 \
  5. --describe \
  6. --group my-group
  7. TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
  8. my-topic 0 2 4 2 consumer-1-029af89c-873c-4751-a720-cefd41a669d6 /127.0.0.1 consumer-1
  9. my-topic 1 2 3 1 consumer-1-029af89c-873c-4751-a720-cefd41a669d6 /127.0.0.1 consumer-1
  10. my-topic 2 2 3 1 consumer-2-42c1abd4-e3b2-425d-a8bb-e1ea49b29bb2 /127.0.0.1 consumer-2

7.7 查看消费者组列表

    
  1. # list all consumer groups across all topics
  2. bin/kafka-consumer-groups.sh \
  3. --bootstrap-server localhost:9092 \
  4. --list
  5. test-consumer-group
  6. # To view offsets, as mentioned earlier,
  7. # we "describe" the consumer group like this:
  8. bin/kafka-consumer-groups.sh \
  9. --bootstrap-server localhost:9092 \
  10. --describe \
  11. --group my-group
  12. TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
  13. topic3 0 241019 395308 154289 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3D3c4 /127.0.0.1 consumer2
  14. topic2 1 520678 803288 282610 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2
  15. topic3 1 241018 398817 157799 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2
  16. topic1 0 854144 855809 1665 consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1
  17. topic2 0 460537 803290 342753 consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1
  18. topic3 2 243655 398812 155157 consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1 consumer4
  19. # 更多配置参考:
  20. # https://kafka.apache.org/32/documentation.html#uses

来源地址:https://blog.csdn.net/zhangjunli/article/details/134036556

您可能感兴趣的文档:

--结束END--

本文标题: kafka3.X集群安装(不使用zookeeper)

本文链接: https://lsjlt.com/news/450604.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • kafka3.X集群安装(不使用zookeeper)
    参考: 【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本 一、kafka集群实例角色规划 在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为...
    99+
    2023-10-26
    zookeeper 分布式 kafka
  • 【Zookeeper】zookeeper集群安装
    单节点安装参考:http://blog.sina.com.cn/s/blog_6f6bc30e0101pb13.html zookeeper集群安装 注意事项: 1....
    99+
    2024-04-02
  • ZooKeeper集群怎样安装和部署
    这篇文章主要为大家展示了“ZooKeeper集群怎样安装和部署”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“ZooKeeper集群怎样安装和部署”这篇文章吧。0、ZooKeeper还可以用作其他...
    99+
    2023-06-04
  • hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装
    创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令: start-all.sh...
    99+
    2017-03-10
    hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装
  • ZooKeeper在单机和集群环境下怎么安装搭建及使用
    这篇文章主要讲解了“ZooKeeper在单机和集群环境下怎么安装搭建及使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“ZooKeeper在单机和集群环境下怎么安装搭建及使用”吧!1、下载首...
    99+
    2023-06-29
  • Kubernetes 上安装 EMQ X 系列文章之三 :使用 Helm 管理、部署 EMQ X 集群
    Helm 介绍Helm 是管理 Kubernetes 包的工具,Helm 能提供下面的能力:创建新的 charts将 charts 打包成 tgz 文件与 chart 仓库交互安装和卸载 Kubernetes 的应用管理使用 Helm 安装...
    99+
    2023-06-03
  • 使用redis-cli搭建redis5.x集群
    这篇文章给大家介绍使用redis-cli搭建redis5.x集群,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。1,创建下载目录,下载安装mkdir -p /usr/local/src/...
    99+
    2024-04-02
  • PXC5.7版本集群如何安装使用
    这篇文章主要为大家展示了“PXC5.7版本集群如何安装使用”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“PXC5.7版本集群如何安装使用”这篇文章吧。环境介绍:...
    99+
    2024-04-02
  • ZooKeeper入门教程二在单机和集群环境下的安装搭建及使用
    目录1、下载2、解压3、创建配置文件4、单机启动ZooKeeper5、通过客户端连接ZooKeeper6、通过客户端执行基本命令7、集群配置和启动小结:通过本篇学习掌握zookeep...
    99+
    2024-04-02
  • 集群Cluster MySQL的安装配置和使用
    MySQL Cluster MySQL集群基本概念:“NDB” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。 MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储...
    99+
    2024-04-02
  • CentOS 6.8如何安装并使用JStorm集群
    这篇文章主要介绍“CentOS 6.8如何安装并使用JStorm集群”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“CentOS 6.8如何安装并使用JStorm集群”文章能帮助大家解决问题。JSto...
    99+
    2023-06-27
  • 内置jetty server下solrcloud6.2.1和Zookeeper集群如何安装和配置过程
    小编给大家分享一下内置jetty server下solrcloud6.2.1和Zookeeper集群如何安装和配置过程,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧...
    99+
    2023-06-03
  • 怎么使用kubeadm安装kubernetes 1.13高可用集群
    小编给大家分享一下怎么使用kubeadm安装kubernetes 1.13高可用集群,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!kubeadm安装kubernetes 1.13高可用集群初始化集群:配置hosts文件vi...
    99+
    2023-06-04
  • 如何使用Rancher在Kubernetes上部署EMQ X集群
    这篇文章主要讲解了“如何使用Rancher在Kubernetes上部署EMQ X集群”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何使用Rancher在Kubernetes上部署EMQ X...
    99+
    2023-06-03
  • VueRouter4.x怎么安装使用
    本文小编为大家详细介绍“VueRouter4.x怎么安装使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“VueRouter4.x怎么安装使用”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。URL.hash与Hi...
    99+
    2023-06-29
  • Zookeeper详解(从安装—入门—使用)
    Zookeeper详解(从安装—入门—简单使用) 🍋1.zookeeper概念🍋2.zookeeper的安装🍊2.1环境准备:🍊2.2下载🍊2.3上传并...
    99+
    2023-08-18
    zookeeper 服务器 java
  • postgresql高可用集群的安装步骤
    这篇文章主要讲解了“postgresql高可用集群的安装步骤”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“postgresql高可用集群的安装步骤”吧!一、...
    99+
    2024-04-02
  • Vue2.x如何安装并使用SCSS
    这篇文章给大家分享的是有关Vue2.x如何安装并使用SCSS的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。 一、什么是SCSSSCSS是成熟、稳定、强大的CSS预处理器,而SCSS是Sass3版本当中引...
    99+
    2023-06-29
  • 怎么使用配置文件安装SQLServer故障转移群集
    这篇文章将为大家详细讲解有关怎么使用配置文件安装SQLServer故障转移群集,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。  SQLServer安装程序提供了生成基于系...
    99+
    2024-04-02
  • kolla-ansible如何安装openstack企业级高可用集群
    这篇文章主要介绍了kolla-ansible如何安装openstack企业级高可用集群,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。一.环境准备1.hosts设置每台设备两块...
    99+
    2023-06-04
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作