当前位置:首页 » 《关注互联网》 » 正文

Kubernetes单Master节点集群二进制部署_认真学习

23 人参与  2021年08月15日 07:03  分类 : 《关注互联网》  评论

点击全文阅读


目录

  • 前言
  • Kubernetes单Master节点集群二进制部署
    • 一.Kubernetes单Master集群架构
    • 二.环境准备
    • 三.Etcd集群部署
      • 1.准备签发证书环境
      • 2.生成CA证书、etcd服务器证书以及私钥
      • 3.安装Etcd
      • 4.在Master01节点启动Etcd集群节点01
      • 5.将证书,命令文件,服务启动脚本拷贝到另外两个etcd集群节点
      • 6.在其他节点修改etcd配置文件
      • 7.检查群集状态
    • 二.部署docker引擎
    • 三.Flannel网络配置
      • 1.添加flannel 网络配置信息
      • 2.安装并启动Flannel服务
      • 3.配置Docker连接Flannel
      • 4.在两个Node节点内创建Docker容器,进行测试
  • 四、部署master节点
    • 1、api-server生成证书
    • 2、创建bootstrap token认证文件
    • 3、启动apiserver
    • 4、启动scheduler服务
    • 5、启动controller-manager
    • 6、查看master 节点状态
  • 五、node节点的部署
  • node01节点的部署
    • 1、把 kubelet、kube-proxy拷贝到node节点上去(master01上操作)
    • 2、复制node.zip到/opt目录下再解压(node01节点操作)
    • 3、安装软件包(master01上操作)
    • 4、拷贝配置文件到node节点中(master01上操作)
    • 5、创建bootstrap角色赋予权限用于连接apiserver请求签名(关键)(master01上操作)
    • 6、执行kubelet.sh脚本(在node01节点上操作)
    • 7、检查到node01节点的请求(master01上操作)
    • 8、查看证书(node01上)
    • 9、查看maser01群集节点,成功加入node01节点
    • 10、加载ip_vs模块(node01和02)
    • 11、启动proxy服务(node01)
    • 12、将node01中的配置文件复制到node02(在node01上操作)
    • 13、执行(node02上操作)
    • 14、启动kube-proxy
    • 15、查看集群节点

前言

常见的K8S按照部署方式

Minikube
Minikube是一个工具,可以在本地快速运行一个单节点微型K8S,仅用于学习、预览K8S的一些特性使用。
部署地址: https://kubernetes. io/docs/setup/minikube
Kubeadmin
Kubeadmin也是一一个:工具,提供kubeadm init和 kubeadm join,用于快速部署K8S集群,相对简单。
https://kubernetes. io/decs/referencel/setup-toels/kubeadm/kubeadm/
二进制安装部署
生产首选,从官方下载发行版的二进制包,手动部署每个组件和自签TLS证书,组成K8S集群,新手推荐。
https: //github. com/kubernetes/kubernetes/releases

Kubernetes单Master节点集群二进制部署

一.Kubernetes单Master集群架构

在这里插入图片描述

二.环境准备

搭建过程所需要的软件包自取

节点系统IP地址服务
K8S集群Master01CentOS 7192.168.110.10kube-apiserver kube-controller-manager
kube-scheduler etcd
K8S集群Node01CentOS 7192.168.110.60kubelet kube-proxy docker flannel
K8S集群Node02CentOS 7192.168.110.70kubelet kube-proxy docker flannel
Etcd集群节点01CentOS 7192.168.110.10etcd
Etcd集群节点02CentOS 7192.168.110.60etcd
Etcd集群节点03CentOS 7192.168.110.70etcd
#所有节点操作
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#Master节点操作 (192.168.110.10)
hostnamectl set-hostname master01
#Master节点操作(192.168.110.60) 
hostnamectl set-hostname node01
#Master节点操作 (192.168.110.70)
hostnamectl set-hostname node02

三.Etcd集群部署

etcd是Core0S团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value) 数据库。etcd内部采用raft协议作为一致性算法,etcd是go语言编写的。

etcd作为服务发现系统,有以下的特点:

简单:安装配置简单,而且提供了HTTP API进行交互,使用也很简单
安全:支持SSL证书验证
快速:单实例支持每秒2k+读操作
可靠:采用raft算法,实现分布式系统数据的可用性和–致性

etcd目前默认使用2379端口提供HTTP API服务,2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。
即etcd默认使用2379端口对外为客户端提供通讯使用端口2380来进行服务器间内部通讯
etcd在生产环境中一般推荐集群方式部署。由于etcd的leader选举机制,要求至少为3台或以上的奇数台。

1.准备签发证书环境

CFSSL是CloudFlare公司开源的一款PKI/TLS工具。CFSSL 包含一个命令行工具和一一个用于签名、验证和捆绑TLS证书的HTTP API服务。使用Go语言编写。
CFSSL使用配置文件生成证书,因此自签之前,需要生成它识别的json 格式的配置文件,CFSSL 提供了方便的命令行生成配置文件。

CFSSL用来为etcd提供TLS证书,它支持签三种类型的证书:

1、client 证书,服务端连接客户端时携带的证书,用于客户端验证服务端身份,如kube-apiserver 访问etcd;
2、server证书,客户端连接服务端时携带的证书,用于服务端验证客户端身份,如etcd对外提供服务;
3、peer证书,相互之间连接时使用的证书,如etcd节点之间进行验证和通信。
这里全部都使用同一套证书认证

在master01 节点上操作

//下载证书制作工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/1ocal/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/ local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl*

在这里插入图片描述

2.生成CA证书、etcd服务器证书以及私钥

在master01 节点上操作

mkdir /opt/k8s
cd /opt/k8s/
//上传etcd-cert.sh 和etcd.sh 到/opt/k8s/目录中
chmod +x etcd-cert.sh
//创建用于生成CA证书、etcd服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh
#生成CA证书、etcd服务器证书以及私钥

生成CA证书、etcd服务器证书以及私钥的脚本详细内容查看:etcd-cert.sh

在这里插入图片描述

在这里插入图片描述

3.安装Etcd

在master01 节点上操作

//上传etcd-v3.3. 10-linux-amd64.tar.gz到/opt/k8s/目录中,解压etcd 压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64
Documentation etcd  etcdctl  README-etcdctl.md README.md READMEv2-etcdctl.md

etcd就是etcd服务的启动命令,后面可跟各种启动参数
etcdctl主要为etcd服务提供了命令行操作

在这里插入图片描述

在这里插入图片描述

4.在Master01节点启动Etcd集群节点01

在master01 节点上操作

//创建用于存放etcd配置文件,命令文件,证书的目录
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-1inux-amd64/etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem  /opt/etcd/ssl/
cd /opt/k8s/
chmod +x etcd.sh

在这里插入图片描述

启动etcd服务的脚本详细内容查看:etcd.sh

./etcd.sh etcd01 192.168.110.10 etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380
//进入卡住状态等待其他节点加入,这里需要三台etcd服务同时启动,如果只启动其中一台后,服务会卡在那里,直到集群中所有etcd节点都已启动,可忽略这个情况

在这里插入图片描述

//另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd 

在这里插入图片描述

5.将证书,命令文件,服务启动脚本拷贝到另外两个etcd集群节点

在master01 节点上操作

//把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.110.60:/opt/
scp -r /opt/etcd/ root@192.168.110.70:/opt/

//启动脚本拷贝其他节点
scp /usr/lib/systemd/system/etcd.service root@192.168.110.60:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.110.70:/usr/lib/systemd/system/

6.在其他节点修改etcd配置文件

在node01 节点上操作

vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.110.60:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.110.60:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.110.60:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.110.60:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.110.10:2380,etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

//启动
systemctl start etcd
systemctl status etcd

在这里插入图片描述

在这里插入图片描述

在node02 节点上操作

vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.110.70:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.110.70:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.110.70:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.110.70:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.110.10:2380,etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
//启动
systemctl start etcd
systemctl status etcd

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

7.检查群集状态

在master01 节点上操作

ln -s /opt/etcd/bin/etcd* /usr/local/bin
//检查etcd群集状态
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
-ca-file=ca.pem \
-cert-file=server.pem \
-key-file=server-key.pem \
-endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https;//192.168.110.70:2379" \
cluster-health

-cert-file: 识别HTTPS端使用SSL证书文件
-key-file: 使用此SSL密钥文件标识HTTPS客户端
-ca-file:使用此CA证书验证启用https的服务器的证书
–endpoints: 集群中以逗号分隔的机器地址列表
cluster–health: 检查etcd集群的运行状况
在这里插入图片描述

二.部署docker引擎

在node01节点和node02节点上操作

//所有node节点部署docker引擎
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce 
systemctl start docker.service
systemctl enable docker.service 

三.Flannel网络配置

K8S中Pod网络通信

Pod内容器与容器之间的通信
在同一个Pod 内的容器(Pod 内的容器是不会跨宿主机的)共享同一个网络命令空间,相当于它们在同一台机器上一样,可以用
localhost 地址访问彼此的端口。
同一个Node内Pod之间的通信
每个Pod都有一个真实的全局IP地址,同一个Node 内的不同Pod之,间可以直接采用对方Pod的IP地址进行通信,Pod1 与Pod2都是通过Veth连接到同一个docker0 网桥,网段相同,所以它们之间可以直接通信。
不同Node上Pod之间的通信
Pod地址与docker0 在同一网段,docker0 网段与宿主机网卡是两个不同的网段,且不同Node之间的通信只能通过宿主机的物理网卡进行。
要想实现不同Node上Pod之间的通信,就必须想办法通过主机的物理网卡IP地址进行寻址和通信。因此要满足两个条件: Pod的
IP不能冲突;将Pod的IP和所在的Node 的IP关联起来,通过这个关联让不同Node上Pod之间直接通过内网IP地址通信。

Overlay Network:
叠加网络,在二层或者三层基础网络.上叠加的一种虚拟网络技术模式,该网络中的主机通过虚拟链路隧道连接起来( 类似于VPN)。
VXLAN:
将源数据包封装到UDP中,并使用基础网络的IP/MAC作为外层报文头进行封装,然后在以太网上传输,到达目的地后由隧道端点解封装并将数据发送给目标地址。
Flannel:
Flannel的功能是让集群中的不同节点主机创建的Docker 容器都具有全集群唯一的虚拟IP地址。
Flannel是Overlay网络的一种,也是将TCP源数据包封装在另一种网络包里面进行路由转发和通信,目前己经支持UDP、VXLAN、
AWSVPC等数据转发方式。

Flannel 工作原理

node1上的pod1 要和node2上的pod1进行通信,数据从node1上的Pod1源容器中发出后,经由所在主机的docker0 虚拟网卡转发到flannel0虚拟网卡,再由flanneld把pod ip封装到udp中(里面有源pod IP和目的pod IP),根据在etcd保存的路由表 通过物理网卡发送给目的node2的flanneld,来进行解封装暴露出udp里的pod IP,最后根据目的pod IP经flannel0虚拟网卡和docker0虚拟网卡转发到目的pod中,完成通信。

ETCD之Flannel提供说明

存储管理Flannel可分配的IP地址段资源
监控ETCD 中每个Pod的实际地址,并在内存中建立维护Pod 节点路由表

1.添加flannel 网络配置信息

在master01 节点上操作

//添加flannel 网络配置信息,写入分配的子网段到etcd中,供flannel 使用
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16","Backend": {"Type": "vxlan"}}'
//查看写入的信息
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379" \
get /coreos.com/network/config

在这里插入图片描述

set <key> <value>
set /coreos com/network/config添加一条网络配置记录,这个配置将用于flannel分配给每个docker的虚拟IP地址段
get <key>
get /coreos.com/network/config获取网络配置记录,后面不用再跟参数了
Network:用于指定Flannel地址池
Backend:用于指定数据包以什么方式转发,默认为udp模式,Backend为vxlan 比起预设的udp性能相对好一些

2.安装并启动Flannel服务

在所有node 节点上操作

//上传flannel.sh和flannel-v0.10.0-1inux-amd64.tar.gz到/opt 目录中,解压flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
flanneld 				#flanneld为主要的执行文件
mk-docker-opts.sh		#mk-docker-opts.sh脚本用于生成Docker启动参数
README.md
//创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
//启动flanneld服务,开启flannel网络功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379

在这里插入图片描述

启动Flannel服务的脚本详细内容查看:flannel.sh

//flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env,包含了docker要使用flannel通讯的相关参数
cat / run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.26.1/24"
DOCKER_OPT_ IPMASQ="--ip-masq= false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER NETWORK OPTIONS="--bip=172.17.26. 1/24 --ip-masq-false--mtu=1450"
--bip: 指定docker启动时的子网
--ip-masq: 设置ipmasq=false 关闭snat伪装策略
--mtu=1450:mtu要留出50字节给外层的vxlan封包的额外开销使用

在这里插入图片描述

3.配置Docker连接Flannel

在所有node 节点上操作

vim /usr/lib/systemd/system/docker.service

[Service]
....
#for containers run by docker
EnvironmentFile=/run/flannel/subnet.env   #添加此行
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
....

在这里插入图片描述

//重启docker服务
systemctl daemon-reload
systemctl restart docker
//查看flannel网络
ifconfig

在这里插入图片描述

//测试ping通对方docker0网卡证明flannel起到路由作用
node1:ping 172.17.89.1
node2:ping 172.17.51.1

在这里插入图片描述

在这里插入图片描述

4.在两个Node节点内创建Docker容器,进行测试

在所有node 节点上操作

docker run -it centos:7 /bin/bash
yum install net-tools -y
ifconfig

分别在两个容器内查看IP地址

在node01节点:ping 172.17.42.2

在这里插入图片描述

在node02节点:ping 172.17.35.2

在这里插入图片描述

四、部署master节点

master01上操作

1、api-server生成证书

cd /opt/k8s/
unzip master.zip
chmod +x controller-manager.sh 
mkdir /opt/kubernetes/{cfg,bin,ssl} -p
mkdir k8s-cert   #创建k8s证书存放目录
mv k8s-cert.sh k8s-cert
vim k8s-cert.sh
./k8s-cert.sh 

cp apiserver*pem ca*pem /opt/kubernetes/ssl/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

 mv kubernetes-server-linux-amd64.tar.gz k8s/
tar zxvf kubernetes-server-linux-amd64.tar.gz

在这里插入图片描述
在这里插入图片描述

cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/

在这里插入图片描述

2、创建bootstrap token认证文件

head -c 16 /dev/urandom | od -An -t x | tr -d ' '
#使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 可以随机生成序列号
vim /opt/kubernetes/cfg/token.csv
6e96b262027ff552685dd2f332a07a17,kubelet-bootstrap,10001,"system:kubelet-bootstrap"

在这里插入图片描述

3、启动apiserver

./apiserver.sh 192.168.110.10 https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379

ps aux | grep kube-apiservice

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、启动scheduler服务

./scheduler.sh 127.0.0.1

ps aux | grep ku

在这里插入图片描述

5、启动controller-manager

 ./controller-manager.sh 127.0.0.1

在这里插入图片描述

6、查看master 节点状态

  /opt/kubernetes/bin/kubectl get cs

在这里插入图片描述

五、node节点的部署

node01节点的部署

1、把 kubelet、kube-proxy拷贝到node节点上去(master01上操作)

cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.110.60:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.110.70:/opt/kubernetes/bin/

在这里插入图片描述
在这里插入图片描述

2、复制node.zip到/opt目录下再解压(node01节点操作)

 unzip node.zip
 chmod +x *.sh

在这里插入图片描述

3、安装软件包(master01上操作)

cd /opt/k8s/
mkdir kubeconfig
cd kubeconfig/
chmod +x kubeconfig.sh 

在这里插入图片描述

 ./kubeconfig.sh 192.168.110.10 /opt/k8s/k8s-cert/

在这里插入图片描述

4、拷贝配置文件到node节点中(master01上操作)

scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.110.60:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.110.70:/opt/kubernetes/cfg/

在这里插入图片描述
在这里插入图片描述

5、创建bootstrap角色赋予权限用于连接apiserver请求签名(关键)(master01上操作)

//RBA授权
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
//查看角色
kubectl get clusterroles | grep system:node-bootstrapper
//查看已授权的角色
kubectl get clusterrolebinding

在这里插入图片描述

6、执行kubelet.sh脚本(在node01节点上操作)

./kubelet.sh 192.168.110.60

在这里插入图片描述
在这里插入图片描述

7、检查到node01节点的请求(master01上操作)

kubectl get csr

kubectl certificate approve node-csr-jsSNBWeBJwqzIxhLtw4JVCeO1Z6W4ogAXsfIC8qUhzE

在这里插入图片描述
在这里插入图片描述

8、查看证书(node01上)

ls /opt/kubernetes/ssl/

在这里插入图片描述

9、查看maser01群集节点,成功加入node01节点

在这里插入图片描述

10、加载ip_vs模块(node01和02)

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $1 >/dev/null 2>&1 && /sb1n/modprobe $i;done

在这里插入图片描述

11、启动proxy服务(node01)

./proxy.sh 192.168.110.60
 systemctl status kube-proxy.service

在这里插入图片描述

12、将node01中的配置文件复制到node02(在node01上操作)

scp kubelet.sh proxy.sh root@192.168.110.70:/opt

在这里插入图片描述

13、执行(node02上操作)

./kubelet.sh 192.168.110.70

在这里插入图片描述
master01
在这里插入图片描述
在这里插入图片描述

14、启动kube-proxy

在这里插入图片描述

15、查看集群节点

在这里插入图片描述


点击全文阅读


本文链接:http://zhangshiyu.com/post/25367.html

节点  证书  操作  
<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1