目录安装单个节点Docker-compose.yml 配置安装集群环境docker-compose.yml配置启动kafka集群总结Docker是最受欢迎的容器引擎之一，软件行业用于
Docker是最受欢迎的容器引擎之一，软件行业用于创建、打包、部署应用。本教程学习如何使用Docker搭建Apache Kafka。
安装单节点Kafka代理需能够满足本地开发需求，我们首先学习单节点安装。
使用Apache Kafka服务，首先需要启动ZooKeeper 服务。这可以通过在docker-compose.yml 文件配置依赖实现，但要确保Zookeeper服务总是在Kafka服务之前启动，反之zookeeper最后停止。
首先创建docker-compose.yml文件，增加两个服务：zookeeper和kafka：
version: '2'
services:
zookeeper:
image: confluentinc/cp-zookeeper:latest
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
ports:
- 22181:2181
kafka:
image: confluentinc/cp-kafka:latest
depends_on:
- zookeeper
ports:
- 29092:29092
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_ADVERTISED_LISTENERS: PLaiNTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
Zookeeper服务监听2181端口为Kafka提供服务，但对于运行在本机的客户端，暴露的端口为22181.
类似的，kafka通过端口29092暴露给主机应用，但实际上在容器中的端口9092。有KAFKA_ADVERTISED_LISTENERS属性来配置。
下面通过使用命令启动容器、开启kafka服务：
$ docker-compose up -d
Creating network "kafka_default" with the default driver
Creating kafka_zookeeper_1 ... done
Creating kafka_kafka_1 ... done
下面通过nc命令严重两个服务正在监听各自的端口：
$ nc -z localhost 22181
Connection to localhost port 22181 [tcp/*] succeeded!
$ nc -z localhost 29092
Connection to localhost port 29092 [tcp/*] succeeded!
另外，也可以检查日志，当容器正在运行时验证kafka服务是否启动：
$ docker-compose logs kafka | grep -i started可以看到Kafka服务已经启动。
最后可以使用Kafka Tool Gui 工具连接已安装的Kafka服务：
生产环境需要更稳定的环境，下面扩展 docker-compose.yml文件创建多节点集群环境：
集群安装需要zookeeper和Kafka有多个实例，下面为zookeeper和kafka增加多个服务：
---
version: '2'
services:
zookeeper-1:
image: confluentinc/cp-zookeeper:latest
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
ports:
- 22181:2181
zookeeper-2:
image: confluentinc/cp-zookeeper:latest
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
ports:
- 32181:2181
kafka-1:
image: confluentinc/cp-kafka:latest
depends_on:
- zookeeper-1
- zookeeper-2
ports:
- 29092:29092
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181,zookeeper-2:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-1:9092,PLAINTEXT_HOST://localhost:29092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
kafka-2:
image: confluentinc/cp-kafka:latest
depends_on:
- zookeeper-1
- zookeeper-2
ports:
- 39092:39092
environment:
KAFKA_BROKER_ID: 2
KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181,zookeeper-2:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-2:9092,PLAINTEXT_HOST://localhost:39092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
必须要确保kafka服务名称唯一，通过KAFKA_BROKER_ID 属性设置。而且每个服务必须暴露唯一主机端口。虽然zookeeper-1 和 zookeeper-2 监听2181端口，但对于主机端口分别为 22181 和 32181。类似的，kafka-1 和 kafka-2 services对应主机端口分别为 29092 和 39092。
现在通过docker-compose命令启动集群：
$ docker-compose up -d
Creating network "kafka_default" with the default driver
Creating kafka_zookeeper-1_1 ... done
Creating kafka_zookeeper-2_1 ... done
Creating kafka_kafka-2_1 ... done
Creating kafka_kafka-1_1 ... done
启动完成，使用Kafka Tool连接集群，地址通过逗号分割只读多个zookeeper地址和端口：
本文使用Docker技术创建单个Kafka节点和Kafka集群环境，并且使用可视化工具连接服务查看代理服务器的配置信息。
到此这篇关于使用Docker搭建Apache Kafka环境的文章就介绍到这了,更多相关Docker Apache Kafka环境内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！
--结束END--
本文标题: 使用Docker搭建ApacheKafka环境的详细过程
本文链接: https://lsjlt.com/news/169682.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-10-22
2024-10-22
2024-10-22
2024-10-22
2024-10-22
2024-10-22
2024-10-22
2024-10-22
2024-10-22
2024-10-22
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
官方手机版
微信公众号
商务合作
0