当前位置:首页 » 《随便一记》 » 正文

zookeeper及kafka集群部署_emp_kk的博客

15 人参与  2022年04月20日 15:58  分类 : 《随便一记》  评论

点击全文阅读


Zookeeper

三台虚拟机:zookeeper1(节点1)、zookeeper2(节点2)、zookeeper3(节点3)

基础环境部署

  3个节点均修改/etc/hosts文件

  #vi /etc/hosts

172.16.51.23 zookeeper1

172.16.51.32 zookeeper2

172.16.51.41 zookeeper3

配置yum源

将gpmlall-repo上传至3个节点的/opt目录下,并将3个节点/etc/yum.repos.d目录下的文件移动到/media目录下,同时创建/etc/yum.repos.d/local.repo,写入以下内容

#mv /etc/yum.repos.d/* /media/

#vi /etc/yum.repos.d/local.repo

[gpmall]

name=gpmall

baseurl=file:///opt/gpmall-repo

gpgcheck=0

enabled=1

#yum clean all

#yum list

搭建zookeeper集群

  

3个节点均安装JDK环境

#yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

#yum -version

将zookeeper软件包上传至3个节点的/root目录下,并进行解压

#tar -zxvf zookeeper-3.4.14.tar.gz

修改3个节点的配置文件

Zookeeper1节点:进入zookeeper-3.4.14/conf目录下,修改zoo_sample.cfg文件为zoo.cfg,并边检文件内容如下:

#vi zoo.cfg

#grep -n '^'[a-Z] zoo.cfg

2:tickTime=2000

5:initLimit=10

8:syncLimit=5

12:dataDir=/tmp/zookeeper

14:clientPort=2181

29:server.1=172.16.51.23:2888:3888

30:server.2=172.16.51.32:2888:3888

31:server.3=172.16.51.41:2888:3888

创建myid文件

3个节点:

#mkdir /tmp/zookeeper

#vi /tmp/zookeeper/myid

  //三个节点写入文件分别对应为1、2、3

启动zookeeper服务

3个节点:

#cd /zookeeper/bin

#./zkserver.sh start

#./zkServer.sh status

配置完成后zookeeper2为leader,其他都是follower

kafka

将kafka软件版上传至3个节点的/root目录下,并解压

#tar -zxvf kafka_2.11-1.1.1.tgz

修改3个节点的配置文件

Zookeeper1:

#cd /kafka_2.11-1.1.1/config

#vi server.properties  (注释掉下面这两行)

#broker.id=0

#zookeeper.connect=localhost:2181

在配置文件底部添加以下3个配置

broker.id=1

zookeeper.connect=172.16.51.23:2181,172.16.51.32:2181,172.16.51.41:2181

listeners = PLAINTEXT://172.16.51.23:9092

  //broker.id三台机器分别对应为1、2、3

  //zookeeper.connect 三台机器对应ip地址

  //listeners 三台机器对应ip地址

3台机器启动服务

#./kafka-server-start.sh -daemon ../config/server.properties

#jps

11416 Kafka

11464 Jps

10479 QuorumPeerMain

测试服务

Zookeeper1:

#cd /kafka_2.11.1.1/bin

#./kafka-topics.sh --create --zookeeper 172.16.51.23:2181 --replication-factor 1 --partitions 1 --topic test

//如果成功的话,会输出“Created topic "test".”

  Zookeeper2:

#cd /kafka_2.11.1.1/bin

# ./kafka-topics.sh --list --zookeeper 172.16.51.32:2181

  test

Zookeeper3:

#cd /kafka_2.11.1.1/bin

#./kafka-topics.sh --list --zookeeper 172.16.51.41:2181

  test


点击全文阅读


本文链接:http://zhangshiyu.com/post/38554.html

节点  文件  目录下  
<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1