k8s-ocp-yaml
Search…
⌃K

2020-06-23-openshift4.4 在线安装(包含allinone)静态ip

本文描述openshift4.4 baremental 在线安装方式,我的环境是 vmwamre esxi 虚拟化,也适用于其他方式提供的虚拟主机或者物理机。 ocp4 注册账户即可下载畅游。 - -! 觉得好的可以买官方订阅提供更多企业服务。 采用 1master 1 worker方式,节约资源,worker节点可以参照步骤,想加多少加多少。 若采用 all in one 单节点,master多分配些资源,不再需要部署worker,在下文mster 部署及组件部署后即完成,步骤都是一样的。
之前做过4.3 的离线安装,环境坏了。这次方便点,直接用在线安装,1master 1worker。 4.3离线安装-dhcp方式,之前的文档,高可用的离线安装。 https://github.com/cai11745/k8s-ocp-yaml/blob/master/ocp4/2020-02-25-openshift4.3-install-offline-dhcp.md

部署环境介绍

比官方多了一个base节点,用来搭建部署需要的dns,仓库等服务,这台系统用Centos7.6,因为centos解决源比较方便。
其他机器都用RHCOS,就是coreos专门针对openshift的操作系统版本。
Machine
OS
vCPU
RAM
Storage
IP
bastion
Centos7.6
2
8GB
100 GB
192.168.2.20
bootstrap-0
RHCOS
2
4GB
100 GB
192.168.2.21
master-0
RHCOS
8
16 GB
100 GB
192.168.2.22
worker-0
RHCOS
16
32 GB
100 GB
192.168.2.23
节点角色: 1台 基础服务节点,用于安装部署所需的dhcp,dns,ftp服务。系统不限。由于单master,这台上面不用部署负载了。 1台 部署引导节点 Bootstrap,用于安装openshift集群,在集群安装完成后可以删除。系统RHCOS 1台 控制节点 Control plane,即master,通常使用三台部署高可用,etcd也部署在上面。系统RHCOS 2台 计算节点 Compute,用于运行openshift基础组件及应用 。系统RHCOS

安装顺序

顺序就是先准备基础节点,包括需要的dns、文件服务器、引导文件等,然后安装引导机 bootstrap,再后面就是 master, 再 node

安装准备-镜像仓库

安装base基础组件节点

|base|centos7.6|4|8GB|100 GB|192.168.2.20|
安装系统 centos7.6 mini 设置IP,设置主机名,关闭防火墙和selinux 注意所有节点主机名采用三级域名格式 如 master1.aa.bb.com
base 节点最好安装ntp 服务对下时间,确保时间正常,若时间异常部署节点时拉取镜像会报错 "x509: certificate has expired or is not yet valid"
hostnamectl set-hostname bastion.ocp4.example.com
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
systemctl disable firewalld
systemctl stop firewalld

下载安装文件

https://cloud.redhat.com/openshift/install/metal/user-provisioned 没有账号就注册一个 下载 openshift-install-linux.tar.gz pull-secret.txt openshift-client-linux.tar.gz rhcos-4.4.3-x86_64-installer.x86_64.iso rhcos-4.4.3-x86_64-metal.x86_64.raw.gz 分别是安装文件,镜像拉取密钥,openshift linux client (oc 命令),RHCOS 安装文件,都从上面同一个页面下载,如果节点之前有oc命令,删掉,使用下载的最新的
安装 openshift-install 和 oc 命令
tar -zxvf openshift-install-linux.tar.gz
chmod +x openshift-install
mv openshift-install /usr/local/bin/
tar -zxvf openshift-client-linux.tar.gz
chmod +x oc kubectl
mv oc kubectl /usr/local/bin/

配置dns server

base节点 worker 节点连接 master 都是通过域名的,需要有一个dns server 负责域名解析
yum install dnsmasq -y
# 配置dnsmasq,配置文件如下
cd /etc/dnsmasq.d/
vi ocp4.conf
address=/api.ocp4.example.com/192.168.2.20
address=/api-int.ocp4.example.com/192.168.2.20
address=/.apps.ocp4.example.com/192.168.2.22
address=/etcd-0.ocp4.example.com/192.168.2.22
srv-host=_etcd-server-ssl._tcp.ocp4.example.com,etcd-0.ocp4.example.com,2380,10
# api 和api-int 指向base本机,本机会部署haproxy 负载到 bootstrap 和master
# .apps 这个用作应用的泛域名解析,写master的,一开始route 会部署到master节点
# etcd-0 写master的
# 启动服务
systemctl start dnsmasq
systemctl enable dnsmasq
# 验证解析,通过nslookup 都能解析到上面对应的ip
yum install bind-utils -y
nslookup api.ocp4.example.com 192.168.2.20
nslookup api-int.ocp4.example.com 192.168.2.20
nslookup 333.apps.ocp4.example.com 192.168.2.20
nslookup etcd-0.apps.ocp4.example.com 192.168.2.20

准备安装配置文件

base节点 新建一个目录用于存放安装配置文件。目录不要建在 /root 下,后面httpd 服务权限会有问题。
mkdir /opt/install
cd /opt/install
# 编辑安装配置文件
vi install-config.yaml
apiVersion: v1
baseDomain: example.com #1
compute:
- hyperthreading: Enabled
name: worker
replicas: 0 #2
controlPlane:
hyperthreading: Enabled
name: master
replicas: 1 #3
metadata:
name: ocp4 #4
networking:
clusterNetwork:
- cidr: 10.128.0.0/14 #5
hostPrefix: 23
networkType: OpenShiftSDN
serviceNetwork:
- 172.30.0.0/16 #5
platform:
none: {} #6
fips: false
pullSecret: '{"auths": ...}' #7
sshKey: 'ssh-ed25519 AAAA...' #8
参数解读: 1. 基础域名 2. 因为work部署后面是单独执行的,这边写0 3. 单master,所以写1 4. 就是节点master/worker名称后面一级,这也是为什么主机名要用好几级 5. pod ip 和service ip范围,需要注意不能和内网已有ip范围冲突 6. 我们这属于直接裸金属安装类别,所有不填 7. 这是上一节从网页下载的 pull-secret.txt 内容,需要在txt 内容两头加上单引号 8. 用于后面免密登录。 ssh-keygen -t rsa -b 2048 -N "" -f /root/.ssh/id_rsa ;cat /root/.ssh/id_rsa.pub ;内容两头带上单引号填入sshKey
备份下配置文件,必须,因为下面命令执行后这个 yaml 文件就消失了
cp install-config.yaml install-config.yaml.bak.0619
# 生成kubernetes配置
# 这个--dir 是有install-config.yaml 的路径
openshift-install create manifests --dir=/opt/install
# 生成引导配置
openshift-install create ignition-configs --dir=/opt/install/
文件目录现在是这样
.
├── auth
│ ├── kubeadmin-password
│ └── kubeconfig
├── bootstrap.ign
├── master.ign
├── metadata.json
└── worker.ign

部署 httpd 文件服务器

部署在base节点,用于openshift节点部署时候拉取配置文件
# 安装httpd
yum install httpd -y
# 把/root/install 目录软链到 /var/www/html 下,可以把这个 raw.gz 文件名字改短点,后面手动输入省心点
mv ocp4.4/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz /opt/install/
ln -s /opt/install/ /var/www/html/install
chmod 777 -R /opt/install/
# 启动服务
systemctl start httpd
systemctl enable httpd
浏览器访问下 base节点, http://192.168.2.20/install/ 可以查看到目录下的文件,点开一个文件确认下有查看权限,万一没权限没给到后面安装会失败,无法拉取文件

部署haproxy

部署在base节点,负载到 bootstrap 和master api 6443 端口
yum install haproxy -y
cd /etc/haproxy/
vi haproxy.cfg #在最下面加配置文件,也可以把自带的frontend 和backend删掉,没有用
# 可选项,可以通过页面查看负载监控状态
listen stats
bind :9000
mode http
stats enable
stats uri /
monitor-uri /healthz
# 负载master api,bootstrap 后面删掉
frontend openshift-api-server
bind *:6443
default_backend openshift-api-server
mode tcp
option tcplog
backend openshift-api-server
balance source
mode tcp
server bootstrap 192.168.2.21:6443 check
server master0 192.168.2.22:6443 check
frontend machine-config-server
bind *:22623
default_backend machine-config-server
mode tcp
option tcplog
backend machine-config-server
balance source
mode tcp
server bootstrap 192.168.2.21:22623 check
server master0 192.168.2.22:22623 check
启动服务
systemctl enable haproxy && systemctl start haproxy
验证服务
通过浏览器页面查看 IP:9000 可以看到haproxy的监控页面,当前后端服务还没起,所以很多红色的。

安装 bootstrap

在虚拟化中按照之前的配置规划创建系统,使用 rhcos-4.4.3-x86_64-installer.x86_64.iso 启动系统
在安装界面 "Install RHEL CoreOS" , 按 Tab 键修改启动参数。 在 coreos.inst = yes 之后添加。仔细校对参数,不能粘贴
ip=192.168.2.21::192.168.2.1:255.255.255.0:bootstrap.ocp4.example.com:ens192:none nameserver=192.168.2.20 coreos.inst.install_dev=sda coreos.inst.image_url=http://192.168.2.20/install/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz coreos.inst.ignition_url=http://192.168.2.20/install/bootstrap.ign
ip=.. 对应的参数是 ip=ipaddr::gateway:netmask:hostnameFQDN:网卡名称:是否开启dhcp
网卡名称和磁盘名称参照base节点,一样的命名规则,后面两个http文件先在base节点 wget 测试下能否下载
仔细检查,出错了会进入shell界面,可以排查问题。然后重启再输入一次
安装完成后,从base节点 ssh [email protected] 进入bootstrap 节点
检查下端口已经开启
ss -tulnp|grep 6443
ss -tulnp|grep 22623
sudo crictl pods
会有7个正常的pod
[[email protected] ~]$ sudo crictl pods
POD ID CREATED STATE NAME NAMESPACE ATTEMPT
8e8954862fcb7 12 minutes ago Ready bootstrap-kube-scheduler-bootstrap.ocp4.example.com kube-system 0
93b2815644aa7 12 minutes ago Ready cloud-credential-operator-bootstrap.ocp4.example.com openshift-cloud-credential-operator 0
065b168e882df 12 minutes ago Ready bootstrap-kube-controller-manager-bootstrap.ocp4.example.com kube-system 0
eca6297ed38a4 12 minutes ago Ready bootstrap-cluster-version-operator-bootstrap.ocp4.example.com openshift-cluster-version 0
9c1ab43da5714 12 minutes ago Ready bootstrap-kube-apiserver-bootstrap.ocp4.example.com kube-system 0
f90a312794fd9 13 minutes ago Ready bootstrap-machine-config-operator-bootstrap.ocp4.example.com default 0
7a10cdbd474a1 13 minutes ago Ready etcd-bootstrap-member-bootstrap.ocp4.example.com openshift-etcd 0
# 查看服务状态的命令,ssh进去的时候就会提示这条命令
journalctl -b -f -u bootkube.service

安装 master

同上,注意ip、主机名、ign配置文件和上述不同
ip=192.168.2.22::192.168.2.1:255.255.255.0:master0.ocp4.example.com:ens192:none nameserver=192.168.2.20 coreos.inst.install_dev=sda coreos.inst.image_url=http://192.168.2.20/install/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz coreos.inst.ignition_url=http://192.168.2.20/install/master.ign
装完后 master 的apiserver 会有问题,后面处理
mkdir ~/.kube
cp /opt/install/auth/kubeconfig ~/.kube/config
echo '192.168.2.19 api.ocp4.example.com api-int.ocp4.example.com' >>/etc/hosts
[[email protected] ~]# oc get node
NAME STATUS ROLES AGE VERSION
master0.ocp4.example.com Ready master,worker 163m v1.17.1
master 上的etcd 没起得来,导致了master的apiserver 也是异常的,需要改下etcd参数
[[email protected] ~]# oc get pod -A |grep api
openshift-kube-apiserver kube-apiserver-master0.ocp4.example.com 3/4 CrashLoopBackOff 30 47s
# 改etcd
oc patch etcd cluster -p='{"spec": {"unsupportedConfigOverrides": {"useUnsupportedUnsafeNonHANonProductionUnstableEtcd": true}}}' --type=merge
# 然后master 的etcd 会被拉起来
[[email protected] ~]# oc -n openshift-etcd get pod -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
etcd-master0.ocp4.example.com 3/3 Running 0 10m 192.168.2.22 master0.ocp4.example.com <none> <none>
# 观察apiserver 至恢复正常,一直不好就删pod重启看下
[[email protected] ~]# oc -n openshift-kube-apiserver get pod -owide |grep Running
kube-apiserver-master0.ocp4.example.com 4/4 Running 3 2m37s 192.168.2.22 master0.ocp4.example.com <none> <none>
master节点完成了
base 节点执行下面命令完成master节点安装
openshift-install --dir=/opt/install wait-for bootstrap-complete --log-level=debug
这个命令主要检测master 节点是否正常工作,完成后会提示可以移除bootstrap
现在可以修改 /etc/haproxy/haproxy.cfg 移除 bootstrap 节点的6443 和 22623, 然后重启haproxy。 或者直接改dnsmasq
因为我们只有一个master节点,或者可以直接修改dnserver配置 /etc/dnsmasq.d/ocp4.conf 的配置,将api.ocp4.example.com 和 api-int.ocp4.example.com 解析到 master节点IP 192.168.2.22 ,然后重启dnsmasq。 这种情况haproxy 服务可以关掉了。
现在master 的服务组件都安装完成了。bootstrap节点任务完成,可以关掉,已经没用了。
/opt/install/install-config.yaml 中 worker 写的0,所以ocp 会默认把master节点打上 worker的标签。 从 oc get node 可以看出。

安装其他组件

由于我们的master 有worker 的标签,也可当做计算节点。
使用 openshift-install 命令完成集群剩余组件的安装
先处理下 etcd-quorum-guard这个组件,默认是部署三个且用的主机网络,我们需要把他改成1个。
# 编辑文件,写入内容。必须打这个patch,不然直接改副本数,还会恢复回去
[[email protected] opt]# vi etcd_quorum_guard.yaml
- op: add
path: /spec/overrides
value:
- kind: Deployment
group: apps/v1
name: etcd-quorum-guard
namespace: openshift-machine-config-operator
unmanaged: true
oc patch clusterversion version --type json -p "$(cat etcd_quorum_guard.yaml)"
oc scale --replicas=1 deployment/etcd-quorum-guard -n openshift-machine-config-operator
# 修改下面这些服务副本数为1 ,不然后面过不去
oc scale --replicas=1 ingresscontroller/default -n openshift-ingress-operator
oc scale --replicas=1 deployment.apps/console -n openshift-console
oc scale --replicas=1 deployment.apps/downloads -n openshift-console
oc scale --replicas=1 deployment.apps/oauth-openshift -n openshift-authentication
oc scale --replicas=1 deployment.apps/packageserver -n openshift-operator-lifecycle-manager
oc scale --replicas=1 deployment.apps/prometheus-adapter -n openshift-monitoring
oc scale --replicas=1 deployment.apps/thanos-querier -n openshift-monitoring
oc scale --replicas=1 statefulset.apps/prometheus-k8s -n openshift-monitoring
oc scale --replicas=1 statefulset.apps/alertmanager-main -n openshift-monitoring
openshift-install --dir=/opt/install wait-for install-complete --log-level debug
主要检查平台的web 监控等组件,完成后会提示登录地址和密码
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.ocp4.example.com
INFO Login to the console with user: kubeadmin, password: JzPpM-hVUJn-o2PD7-RKtoe
查看所有pod 状态
oc get pod -A
检查所有组件,avaiable 都是 true,如果有个别有问题,可以等worker部署完了慢慢排查。
[[email protected] ~]# oc get clusteroperator
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE
authentication 4.4.9 True False False 7m8s
cloud-credential 4.4.9 True False False 46m
cluster-autoscaler 4.4.9 True False False 7m32s
console 4.4.9 True False False 38s
csi-snapshot-controller 4.4.9 True False False 11m
dns 4.4.9 True False False 11m
etcd 4.4.9 True False False 16m
image-registry 4.4.9 True False False 11m
ingress 4.4.9 True False False 9m18s
insights 4.4.9 True False False 11m
kube-apiserver 4.4.9 True False False 14m
kube-controller-manager 4.4.9 True False False 18m
kube-scheduler 4.4.9 True False False 19m
kube-storage-version-migrator 4.4.9 True False False 11m
machine-api 4.4.9 True False False 11m
machine-config 4.4.9 True False False 20m
marketplace 4.4.9 True False False 11m
monitoring 4.4.9 True False False 6m29s
network 4.4.9 True False False 21m
node-tuning 4.4.9 True False False 11m
openshift-apiserver 4.4.9 True False False 3m41s
openshift-controller-manager 4.4.9 True False False 11m
openshift-samples 4.4.9 True False False 5m26s
operator-lifecycle-manager 4.4.9 True False False 21m
operator-lifecycle-manager-catalog 4.4.9 True False False 21m
operator-lifecycle-manager-packageserver 4.4.9 True False False 4m50s
service-ca 4.4.9 True False False 21m
service-catalog-apiserver 4.4.9 True False False 21m
service-catalog-controller-manager 4.4.9 True False False 21m
storage 4.4.9 True False False 11m
至此平台已经部署完成,组件也部署完成,若采用all in one,则到此为止。
若需要继续添加计算节点,完成下一步骤。

安装 worker

同上,注意ip、主机名、ign配置文件和上述不同
ip=192.168.2.23::192.168.2.1:255.255.255.0:worker0.ocp4.example.com:ens192:none nameserver=192.168.2.20 coreos.inst.install_dev=sda coreos.inst.image_url=http://192.168.2.20/install/rhcos-4.4.3-x86_64-metal.x86_64.raw.gz coreos.inst.ignition_url=http://192.168.2.20/install/worker.ign
当worker 在控制台看到已经部署完
在部署机执行 oc get csr 命令,查看node 节点加入申请,批准之,然后就看到了node节点。 大功告成!!! 每个node节点会有两条新的csr
[[email protected] opt]# oc get csr
NAME AGE REQUESTOR CONDITION
csr-bbzlk 29s system:node:worker0.ocp4.example.com Approved,Issued
csr-hxnvl 2m49s system:serviceaccount:openshift-machine-config-operator:node-bootstrapper Approved,Issued
[[email protected] opt]# yum install epel-release
[[email protected] opt]# yum install jq -y
[[email protected] opt]# oc get csr -ojson | jq -r '.items[] | select(.status == {} ) | .metadata.name' | xargs oc adm certificate approve
刚加进来状态是not ready,等一会就变成ready了
[[email protected] opt]# oc get node
NAME STATUS ROLES AGE VERSION
master0.ocp4.example.com Ready master,worker 5h25m v1.17.1
worker0.ocp4.example.com Ready worker 3m4s v1.17.1
至此,整个集群部署完成,若要添加更多node节点,重复本步骤即可。

Web console 登录

ocp4的web console 入口走router了,所以找下域名 首先找到我们的域名,然后在我们自己电脑上 hosts添加解析,指向到router所在节点ip,这样就能够访问openshift 的web 控制台了
[[email protected] opt]# oc get route -A |grep console-openshift
openshift-console console console-openshift-console.apps.ocp4.example.com console https reencrypt/Redirect None
[[email protected] opt]# oc get pod -A -owide|grep router
openshift-ingress router-default-679488d97-pt5xh 1/1 Running 0 21m 192.168.2.22 master0.ocp4.example.com <none> <none>
把这条写入hosts 192.168.2.22 oauth-openshift.apps.ocp4.example.com console-openshift-console.apps.ocp4.example.com
用户名是 kubeadmin 密码在这个文件里 cat /opt/install/auth/kubeadmin-password
后续需注意,若重启worker,则router 可能会在几台worker漂移,可以参照ocp3的做法,给某个节点打上infra 标签,再修改 router 的 nodeselector
oc -n openshift-ingress-operator get ingresscontroller/default -o yaml

参考文档

也可以顺便关注下我的github,后续更新会同步到github