文章目录
前言一、zookeeper简介二、获取Zookeeper安装包2.1. 离线获取2.2. 在线获取2.3. 解压包 三、单机部署3.1. 配置conf文件3.2. 启动服务 四、集群部署4.1. 概念4.2. 配置conf文件4.3. 创建myid文件4.3. 启动每个节点的zookeeper服务 五、配置systemctl管理(选做)总结
前言
本文章主要介绍在Centos系统,虚拟机上安装zookeeper用来单机部署或集群部署,可为大数据组件或ambari管理中使用。
博主安装的是Zookeeper3.4.6版本,安装其他版本的也可以参考该文档。
一、zookeeper简介
ZooKeeper是一个开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。核心词特点就是协调。
二、获取Zookeeper安装包
2.1. 离线获取
zookeeper下载地址:https://archive.apache.org/dist/zookeeper/
Zookeeper3.4.6版本下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
下载完成后,将安装包上传到需要安装zookeeper的主机上。
2.2. 在线获取
执行下载命令
# wget指令wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz# curl指令curl -o zookeeper-3.4.6.tar.gz https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
如果这两个指令都没有就执行安装工具包,再下载安装包;可以下载安装包请忽略该工具包的安装指令。
# 安装wget工具包sudo yum install wget -y# 验证wgetwget --version# 安装curl工具包sudo yum install curl -y# 验证curlcurl --version
2.3. 解压包
进入到当前Zookeeper安装包的路径下,执行解压命令:
# 将zookeeper-3.4.6.tar.gz解压到指定位置/var/lib目录下 tar -zxvf zookeeper-3.4.6.tar.gz -C /var/lib
三、单机部署
3.1. 配置conf文件
Zookeeper 在启动时会找zoo.cfg这个文件作为默认配置文件。
# 进入安装目录的…/conf目录下cd /var/lib/zookeeper-3.4.6/conf/# 复制样例文件cp zoo_sample.cfg zoo.cfg# 修改配置文件vi zoo.cfg
将以下内容写入配置文件zoo.cfg,其中dataDir=/tmp/zookeeper/data
,需要根据实际保存的目录修改。
# zookeeper内部的基本单位,单位是毫秒,这个表示一个tickTime为2000毫秒,在zookeeper的其他配置中,都是基于tickTime来做换算的tickTime=2000#集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数(tickTime的数量)。initLimit=10#syncLimit:集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数(tickTime的数量)syncLimit=5# 数据存放文件夹,zookeeper运行过程中有两个数据需要存储,一个是快照数据(持久化数据)另一个是事务日志dataDir=/tmp/zookeeper/data# 客户端访问端口clientPort=2181
3.2. 启动服务
# 启动服务bash /var/lib/zookeeper-3.4.6/bin/zkServer.sh start# 查看服务状态bash /var/lib/zookeeper-3.4.6/bin/zkServer.sh status# 测试客户端连接bash /var/lib/zookeeper-3.4.6/bin/zkCli.sh
以上单机版zookeeper就安装好了。
四、集群部署
4.1. 概念
ZooKeeper的集群模式下,多个Zookeeper服务器在工作前会选举出一个Leader,在接下来的工作中这个被选举出来的Leader死了,而剩下的Zookeeper服务器会知道这个Leader死掉了,在活着的Zookeeper集群中会继续选出一个Leader,选举出Leader的目的是为了可以在分布式的环境中保证数据的一致性。
由于ZooKeeper集群中,会有一个Leader负责管理和协调其他集群服务器,因此服务器的数量通常都是单数,例如3,5,7…等,这样2n+1的数量的服务器就可以允许最多n台服务器的失效。
4.2. 配置conf文件
zookeeper集群的每台主机均需要操作以下步骤
Zookeeper 在启动时会找zoo.cfg这个文件作为默认配置文件。
# 进入安装目录的…/conf目录下cd /var/lib/zookeeper-3.4.6/conf/# 复制样例文件cp zoo_sample.cfg zoo.cfg# 修改配置文件vi zoo.cfg
将以下内容写入配置文件zoo.cfg,其中dataDir=/tmp/zookeeper/data
和server.1=zookeeper-1.novalocal:2888:3888
,需要根据实际保存的目录修改。
# zookeeper内部的基本单位,单位是毫秒,这个表示一个tickTime为2000毫秒,在zookeeper的其他配置中,都是基于tickTime来做换算的tickTime=2000#集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数(tickTime的数量)。initLimit=10#syncLimit:集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数(tickTime的数量)syncLimit=5# 数据存放文件夹,zookeeper运行过程中有两个数据需要存储,一个是快照数据(持久化数据)另一个是事务日志dataDir=/tmp/zookeeper/data# 客户端访问端口(zookeeper-1.novalocal、zookeeper-2.novalocal、zookeeper-3.novalocal修改为实际zookeeper主机的ip或域名)server.1=zookeeper-1.novalocal:2888:3888server.2=zookeeper-2.novalocal:2888:3888server.3=zookeeper-3.novalocal:2888:3888
注意:如果三个zookeeper服务都在同一台服务器上,这里要保证地址的唯一性,因此要特别注意IP地址和端口号不要互相冲突,IP相同,端口一定不能相同,以免影响程序的正确执行。
4.3. 创建myid文件
去各个 ZooKeeper节点,新建目录 dataDir=/tmp/zookeeper/data,这个 目录就是你在 zoo.cfg 中配置的 dataDir 的目录,建好之后,在里面新建一个文件,文件名叫 myid,里面存放的内容就是服务器的 id,就是 server.1=zookeeper-1.novalocal:2888:3888 当中的 id,就是 1,那么对应的每个服务器节点都应该做类似的操作。
节点一:
mkdir -p /tmp/zookeeper/datacd /tmp/zookeeper/dataecho 1 > myid
节点二:
mkdir -p /tmp/zookeeper/datacd /tmp/zookeeper/dataecho 2 > myid
节点三:
mkdir -p /tmp/zookeeper/datacd /tmp/zookeeper/dataecho 3 > myid
4.3. 启动每个节点的zookeeper服务
启动服务,对应的每个服务器节点都要做的操作。
# 启动服务bash /var/lib/zookeeper-3.4.6/bin/zkServer.sh start
查看节点状态
# 查看服务状态bash /var/lib/zookeeper-3.4.6/bin/zkServer.sh status
若是出现Mode:follower或Mode:leader
则zookeeper集群部署成功,服务启动正常。
五、配置systemctl管理(选做)
查看zookeeper主机上Java的安装路径。
# 获取JAVA_hOME路径readlink -f $(which java)# 去掉/bin/java 部分,这样就得到了 Java 安装的根目录/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64/jre
配置systemctl管理服务 sudo vi /usr/lib/systemd/system/zookeeper.service
注意:这个需要改成实际的Java 安装的根目录:Environment=JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64/jre
[Unit]Description=Zookeeper Service unit ConfigurationAfter=network.target [Service]Type=forkingEnvironment=JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64/jreExecStart=/var/lib/zookeeper-3.4.6/bin/zkServer.sh startExecStop=/var/lib/zookeeper-3.4.6/bin/zkServer.sh stopPIDFile=/data/zookeeper/data/zookeeper_server.pidKillMode=noneUser=rootGroup=rootRestart=on-failure [Install]WantedBy=multi-user.target
# 启动systemctl start zookeeper# 查看状态systemctl status zookeeper# 停止systemctl stop zookeeper
以上systemctl管理配置完成。
总结
好的,以上就是zookeeper安装的详细步骤,欢迎大家在安装过程中遇到任何问题时留言反馈。我会汇总大家的问题及解决方法,持续改进和完善这份文档。
最后,感谢大家的指导和支持,希望各位多多提宝贵的建议,您的建议是我们后续持续优化的动力,感谢各位!