这篇文章将为大家详细讲解有关kafka 1.0.0的安装使用以及命令是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。0.三台机器 data133,data135,data136
这篇文章将为大家详细讲解有关kafka 1.0.0的安装使用以及命令是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
0.三台机器 data133,data135,data1361.修改配置文件 server.properties broker.id=1 #全局唯一log.dirs=/data/kafka/log #kafka存放数据的目录ZooKeeper.connect=data135:2181,data133:2181,data136:2181port=9092host.name=data136然后分发到另两台机器data133:broker.id=2 host.name=data133Data135:broker.id=2 host.name=data1352.后台2.后台启动kafka serverbin目录下 nohup ./kafka-server-start.sh ../config/server.properties &3.创建topic ./kafka-topics.sh --create --topic "test1" --partitions 5 --replication-factor 1 --zookeeper data1334.通过shell脚本生产消费生产:./kafka-console-producer.sh -topic test --broker-list data133:9092,data135:9092,data136:9092消费:./kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server data133:90925.显示所有的topic./kafka-topics.sh --list --zookeeper bigdata03---------------------------------------------------------------flume整合kafka,flume的配置文件 kafka-dest.conf# Name the components on this agenta1.sources=sr1a1.channels=ch2a1.sinks=si1# Describe/configure the sourcea1.sources.sr1.type=execa1.sources.sr1.command=tail -F /home/ch.loga1.sources.sr1.batchSize=50# Describe the sinka1.sinks.si1.type=org.apache.flume.sink.kafka.KafkaSinka1.sinks.si1.kafka.bootstrap.servers=bigdata01:9092,bigdata02:9092,bigdata03:9092a1.sinks.si1.kafka.topic=test7a1.sinks.si1.flumeBatchSize=100a1.sinks.si1.kafka.producer.acks=1a1.sinks.si1.kafka.producer.partitioner.class=org.apache.kafka.clients.producer.internals.DefaultPartitioner# Use a channel which buffers events in memorya1.channels.ch2.type = memorya1.channels.ch2.capacity = 1000000a1.channels.ch2.transactionCapacity = 1000a1.sources.sr1.channels=ch2a1.sinks.si1.channel=ch2#the command to start a agent#bin/flume-ng agent -n a1 -c conf -f conf/fkafka-dest.conf
关于Kafka 1.0.0的安装使用以及命令是什么就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
--结束END--
本文标题: Kafka 1.0.0的安装使用以及命令是什么
本文链接: https://lsjlt.com/news/231232.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0