Kafka集群搭建
# 1 解压安装包
提示
1.运行kafka之前需先启动zookeeper服务
2.apache-zookeeper-3.5.9-bin.tar.gz 安装包已先上传到 / 根目录上。
可通过以下方式获取安装包：
wget https://mirror.bit.edu.cn/apache/kafka/2.8.1/kafka_2.13-2.8.1.tgz
1
2
2
# 解压
tar -zxvf kafka_2.13-2.8.1.tgz -C /louis
# 重命名
mv kafka_2.13-2.8.1 kafka_2.8.1
1
2
3
4
2
3
4
# 2 修改配置文件
修改配置文件config/server.properties
#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://172.16.227.132:9092
#kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs
#kafka连接zookeeper的地址
zookeeper.connect=172.16.227.132:2181
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
# 3 启动服务
# 启动kafka单节点
bin/kafka‐server‐start.sh config/server.properties &
1
2
2
# 启动zookeeper客户端查看是否有kafka节点
/louis/zookeeper-3.5.9/bin/zkCli.sh
1
2
2
[zk: localhost:2181(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
[zk: localhost:2181(CONNECTED) 2] ls /brokers
[ids, seqid, topics]
[zk: localhost:2181(CONNECTED) 3] ls /brokers/ids
[0]
1
2
3
4
5
6
2
3
4
5
6
# 停止kafka
bin/kafka-server-stop.sh
1
2
2
# 4 集群
提示
在一台机器上同时启动三个broker实例。
# 4.1 新建其他两个broker的配置文件
# 直接拷贝第一个broker的配置文件
cd /louis/kafka_2.8.1/config
cp server.properties server-1.properties
cp server.properties server-2.properties
1
2
3
4
2
3
4
# 4.2 修改其他两个broker的配置文件
修改server-1.properties
#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://172.16.227.132:9093
#kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs-1
#kafka连接zookeeper的地址，集群中的zookeeper必须相同
zookeeper.connect=172.16.227.132:2181
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
修改server-2.properties
#broker.id属性在kafka集群中必须要是唯一
broker.id=2
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://172.16.227.132:9094
#kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs-2
#kafka连接zookeeper的地址，集群中的zookeeper必须相同
zookeeper.connect=172.16.227.132:2181
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
# 4.3 启动集群服务
bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &
1
2
3
2
3
# 启动zookeeper客户端查看是否有kafka节点
/louis/zookeeper-3.5.9/bin/zkCli.sh
1
2
2
[zk: localhost:2181(CONNECTED) 5] ls /brokers/ids
[0, 1, 2]
1
2
2
# 5 安装包下载
百度网盘
https://pan.baidu.com/s/1pvGbnkMpdqs3ICMpMsrVow (opens new window)
提取码 : cr1x