云原生] Helm 资源清单管理工具

资源清单管理工具-Helm

资源列表

操作系统	配置	主机名	IP
openEuler 22.03	2C4G	master	192.168.93.151
openEuler 22.03	2C4G	node1	192.168.93.152
openEuler 22.03	2C4G	node2	192.168.93.153

基础环境

• 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

• 关闭内核安全机制

setenforce 0
sed -i "s/^SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config

一、Helm的介绍

1.1、Helm的价值概述

• 在一个企业中，可能存在多个不同的应用业务，每个业务可能包含多个yaml资源清单，甚至几十个yaml资源清单，那么对于“运维”和“研发”人员来讲，这么多资源清单，通过人力去区分辨别，即便有名称空间namespace和不同的“路径目录”来进行区分，也是非常吃力的；
• 所以，我们就需要借助k8s资源清单的管理工具，进行以业务为单位的资源清单管理，通过一些手段，来实现业务的升级、回滚等等操作在一个文件上（通过helm的values.yaml文件），一个文件就能够管理一套业务体系，进而压缩、减轻了运维压力实现高效管理业务的目的；

1.2、Helm的关键名词

• chart：应用描述，在helm中，一个chart代表一个业务的资源清单相关文件的集合
• release：基于chart的部署实体，一个chart被helm运行后，会生成一个release实体，这个release实体会在k8s集群中创建对应的资源对象

二、安装部署Helm

• Helm的安装非常简单，解压软件包后，会有一个二进制文件，放到bin目录下即安装成功

2.1、解压安装包

# 解压目录
[root@master ~]# tar -zxvf helm-v3.12.3-linux-amd64.tar.gz

# 解压后的目录叫linux-admin64
[root@master ~]# mv linux-amd64/helm /usr/local/bin/

# 查看是否可以使用helm
[root@master ~]# helm version
version.BuildInfo{Version:"v3.12.3", GitCommit:"3a31588ad33fe3b89af5a2a54ee1d25bfe6eaa5e", GitTreeState:"clean", GoVersion:"go1.20.7"}

2.2、添加命令补全设置

[root@master ~]# helm completion bash > /usr/share/bash-completion/completions/helm

三、使用Helm部署服务管理

3.1、使用Helm创建chart

• 创建工作目录

[root@master ~]# mkdir -p /wzh/chart
[root@master ~]# cd /wzh/chart/

• helm创建chart

[root@master chart]# helm create wzh01
Creating wzh01

• 此时执行ls查看目录会发现多出一个wzh01的目录，在查看wzh01这个目录下，发现有文件和chart目录

[root@master chart]# ll
总用量 4
drwxr-xr-x 4 root root 4096 10月 13 09:43 wzh01

[root@master chart]# ll wzh01/
总用量 16
drwxr-xr-x 2 root root 4096 10月 13 09:43 charts
-rw-r--r-- 1 root root 1141 10月 13 09:43 Chart.yaml
drwxr-xr-x 3 root root 4096 10月 13 09:43 templates
-rw-r--r-- 1 root root 1872 10月 13 09:43 values.yaml

3.2、响应式创建名称空间

[root@master chart]# kubectl create namespace helm-wzh01

[root@master chart]# kubectl get ns
NAME              STATUS   AGE
default           Active   8d
helm-wzh01        Active   14s
kube-node-lease   Active   8d
kube-public       Active   8d
kube-system       Active   8d

3.3、安装chart到名称空间

• 命令格式：helm install 自定义名称 chart名称 -n 名称空间

# 本次起名为wzh
# chart名称其实就是执行helm create创建出来的的目录
[root@master chart]# helm install wzh wzh01 -n helm-wzh01
NAME: wzh
LAST DEPLOYED: Sun Oct 13 09:47:47 2024
NAMESPACE: helm-wzh01
STATUS: deployed
REVISION: 1
NOTES:
1. Get the application URL by running these commands:
  export POD_NAME=$(kubectl get pods --namespace helm-wzh01 -l "app.kubernetes.io/name=wzh01,app.kubernetes.io/instance=wzh" -o jsonpath="{.items[0].metadata.name}")
  export CONTAINER_PORT=$(kubectl get pod --namespace helm-wzh01 $POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")
  echo "Visit http://127.0.0.1:8080 to use your application"
  kubectl --namespace helm-wzh01 port-forward $POD_NAME 8080:$CONTAINER_PORT

• 查看名称空间中的Pod

[root@master chart]# kubectl get pod -o wide -n helm-wzh01 
NAME                        READY   STATUS    RESTARTS   AGE   IP             NODE    NOMINATED NODE   READINESS GATES
wzh-wzh01-694f6cc9f-vz54t   1/1     Running   0          87s   10.244.104.4   node2   <none>           <none>

• 使用CURL -I访问这个Pod，你会发现使用的镜像尽然是nginx:1.16.0，后续会讲解为什么

[root@master chart]# curl -I 10.244.104.4
HTTP/1.1 200 OK
Server: nginx/1.16.0
Date: Sun, 13 Oct 2024 01:50:29 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 23 Apr 2019 10:18:21 GMT
Connection: keep-alive
ETag: "5cbee66d-264"
Accept-Ranges: bytes

3.4、使用Helm命令查看名称空间下的资源

[root@master chart]# helm list -n helm-wzh01
NAME	NAMESPACE 	REVISION	UPDATED                                	STATUS  	CHART      	APP VERSION
wzh 	helm-wzh01	1       	2024-10-13 09:47:47.737913661 +0800 CST	deployed	wzh01-0.1.0	1.16.0

• 至此，部署服务就结束了

3.5、修改服务的版本

• 其实我们创建的默认chart是运维的nginx:1.16.0这个镜像，可以在values.yaml文件中查看到

• 开始将nginx的版本修改为1.20.1

• 修改values.yaml中的tag标签版本

[root@master chart]# vim wzh01/values.yaml
image:
  repository: nginx
  pullPolicy: IfNotPresent
  # Overrides the image tag whose default is the chart appVersion.
  tag: "1.20.1-alpine"  # tag就是镜像的标签

• 再次安装chart到名称空间

# 这次名称叫wzh01
[root@master chart]# helm install wzh02 wzh01 -n helm-wzh01

• 查看名称空间下的Pod

[root@master chart]# kubectl get pod -n helm-wzh01 -o wide
NAME                           READY   STATUS    RESTARTS   AGE    IP             NODE    NOMINATED NODE   READINESS GATES
wzh-wzh01-694f6cc9f-vz54t      1/1     Running   0          12m    10.244.104.4   node2   <none>           <none>
wzh02-wzh01-7fc88cf49c-86tzk   1/1     Running   0          3m2s   10.244.104.

• 访问新的release的Pod
• 我们修改了values.yaml的tag，再次安装的Pod版本变成了nginx:1.20

[root@master chart]# curl -I 10.244.104.5
HTTP/1.1 200 OK
Server: nginx/1.20.1
Date: Sun, 13 Oct 2024 02:00:44 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 25 May 2021 13:41:16 GMT
Connection: keep-alive
ETag: "60acfe7c-264"
Accept-Ranges: bytes

3.6、卸载chart

[root@master chart]# helm uninstall wzh -n helm-wzh01
release "wzh" uninstalled

• 查看helm的chart是否被卸载，发现没有第一个chart的release名称了【wzh】

[root@master chart]# helm list -n helm-wzh01
NAME 	NAMESPACE 	REVISION	UPDATED                              STATUS  	CHART      	APP VERSION
wzh02	helm-wzh01	1       	2024-10-13 09:57:34.25827232 +0800 CSdeployed	wzh01-0.1.0	1.16.0 

四、认识Helm的文件组成

4.1、流程梳理

4.2、查看目录解释说明

[root@master chart]# ls wzh01/
charts  Chart.yaml  templates  values.yaml


templates目录：业务相关所有资源清单+NOTES.txt（NOTES.txt文件的作用是安装成功chart后提示信息）
values.yaml：给业务资源清单传递写好的变量

五、自定义chart服务的部署

5.1、编辑value.yaml文件（设置变量）

• 本质上就是额设置变量，然后传递给业务yaml文件使用

# 创建一个chart，把所有yaml资源删除，自己编写
[root@master chart]# helm create wzh02
[root@master chart]# rm -rf wzh02/templates/*

[root@master chart]# vim wzh02/values.yaml
# 把里面内容删除掉，自己编写
replicaCount: 6  # Pod副本
image:   
  nginx: 
    repository: nginx   # Pod镜像
    tag: "1.20.1-alpine"  # Pod镜像版本
wzh02:   # 标签
  k8s: wzh02
  kubernetes: k8s
name: wzh02  # Pod名称
version: v1.0  # Pod版本自定义
office: "https://www.wzh.info"  

5.2、资源清单引入变量

[root@master chart]# vim wzh02/templates/deployment.yaml
# 把里面内容删除掉，自己编写
apiVersion: "apps/v1"
kind: Deployment
metadata:
  name: wzh-dm
spec:
  replicas: {{ .Values.replicaCount }}
  selector: 
    matchLabels:
      k8s: {{ .Values.wzh02.k8s }}
  template:
    metadata:
      labels:
        k8s: {{ .Values.wzh02.k8s }}
    spec:
      containers:
      - name: {{ .Values.name }}
        image: {{ .Values.image.nginx.repository }}:{{ .Values.image.nginx.tag }}

5.3、编辑安装成功后的显示信息

[root@master chart]# vim wzh02/templates/NOTES.txt
# 把里面内容删除掉，自己编写
恭喜你,安装成功: 
安装的服务名称是: {{ .Values.name }}
安装的服务版本是: {{ .Values.version }}
官网地址是: {{ .Values.office }}

5.4、安装服务

• 安装成功的提示信息已经显示出来

[root@master chart]# helm install deploy wzh02 -n helm-wzh01
NAME: deploy
LAST DEPLOYED: Sun Oct 13 11:02:37 2024
NAMESPACE: helm-wzh01
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
恭喜你,安装成功: 
安装的服务名称是: wzh02
安装的服务版本是: v1.0
官网地址是: https://www.wzh.info

5.5、查看验证

• 查看Pod副本数量

[root@master chart]# kubectl get pod -n helm-wzh01 
NAME                           READY   STATUS    RESTARTS   AGE
wzh-dm-7794577c-lt2vf          1/1     Running   0          11m
wzh-dm-7794577c-nznzl          1/1     Running   0          11m
wzh-dm-7794577c-qmvll          1/1     Running   0          11m
wzh-dm-7794577c-r7s8g          1/1     Running   0          11m
wzh-dm-7794577c-rt6hx          1/1     Running   0          11m
wzh-dm-7794577c-v57lk          1/1     Running   0          11m
wzh02-wzh01-7fc88cf49c-86tzk   1/1     Running   0          76m

• 查看Helm

[root@master chart]# helm list -n helm-wzh01
NAME  	NAMESPACE 	REVISION	UPDATED                                	STATUS  	CHART      	APP VERSION
deploy	helm-wzh01	1       	2024-10-13 11:02:37.923616486 +0800 CST	deployed	wzh02-0.1.0	1.16.0     
wzh02 	helm-wzh01	1       	2024-10-13 09:57:34.25827232 +0800 CST 	deployed	wzh01-0.1.0	1.16.0  

六、Helm对业务的升级和回滚

6.1、业务升级

• 查看现有chart

[root@master chart]# helm list -n helm-wzh01
NAME  	NAMESPACE 	REVISION	UPDATED                                	STATUS  	CHART      	APP VERSION
deploy	helm-wzh01	1       	2024-10-13 11:02:37.923616486 +0800 CST	deployed	wzh02-0.1.0	1.16.0     
wzh02 	helm-wzh01	1       	2024-10-13 09:57:34.25827232 +0800 CST 	deployed	wzh01-0.1.0	1.16.0  

# 为了后续的实现，把wzh02chart删除
[root@master chart]# helm uninstall wzh02 -n helm-wzh01
release "wzh02" uninstalled

• 修改变量文件（values.yaml）

[root@master chart]# cat wzh02/values.yaml 
replicaCount: 6  # Pod副本
image:   
  nginx: 
    repository: nginx   # Pod镜像
    tag: "1.24.0-alpine"  # Pod镜像版本，将nginx1.20版本升级到1.24版本
wzh02:   # 标签
  k8s: wzh02
  kubernetes: k8s
name: wzh02  # Pod名称
version: v1.0  # Pod版本自定义
office: "https://www.wzh.info" 

• 基于values.yaml文件升级业务

[root@master chart]# helm upgrade deploy wzh02 -n helm-wzh01 
Release "deploy" has been upgraded. Happy Helming!
NAME: deploy
LAST DEPLOYED: Sun Oct 13 11:21:33 2024
NAMESPACE: helm-wzh01
STATUS: deployed
REVISION: 2
TEST SUITE: None
NOTES:
恭喜你,安装成功: 
安装的服务名称是: wzh02
安装的服务版本是: v1.0
官网地址是: https://www.wzh.info

• 查看Pod并且访问

[root@master chart]# kubectl get pod -o wide -n helm-wzh01 
NAME                      READY   STATUS    RESTARTS   AGE     IP               NODE    NOMINATED NODE   READINESS GATES
wzh-dm-66fd67f684-2zrfh   1/1     Running   0          7m24s   10.244.166.137   node1   <none>           <none>
wzh-dm-66fd67f684-c8hgb   1/1     Running   0          7m24s   10.244.104.9     node2   <none>           <none>
wzh-dm-66fd67f684-jh6k2   1/1     Running   0          2m22s   10.244.166.138   node1   <none>           <none>
wzh-dm-66fd67f684-mhgzp   1/1     Running   0          7m24s   10.244.104.10    node2   <none>           <none>
wzh-dm-66fd67f684-q88f4   1/1     Running   0          18s     10.244.166.139   node1   <none>           <none>
wzh-dm-66fd67f684-wg8wc   1/1     Running   0          2m21s   10.244.104.11    node2   <none>           <none>

# 总结：我们把values.yaml文件中nginx版本从1.20替换成1.24，再upgrade升级一下，再次查看发现更新成功，同时使用helm list发现VERSION字段从1变成了2
[root@master chart]# curl -I 10.244.166.137
HTTP/1.1 200 OK
Server: nginx/1.24.0
Date: Sun, 13 Oct 2024 03:29:16 GMT
Content-Type: text/html
Content-Length: 615
Last-Modified: Tue, 11 Apr 2023 17:21:57 GMT
Connection: keep-alive
ETag: "64359735-267"
Accept-Ranges: bytes


[root@master chart]# helm list -n helm-wzh01 
NAME  	NAMESPACE 	REVISION	UPDATED                                	STATUS  	CHART      	APP VERSION
deploy	helm-wzh01	2       	2024-10-13 11:21:33.996265014 +0800 CST	deployed	wzh02-0.1.0	1.16.0 

• 再次修改valuesyaml文件，这次修改副本数量、nginx版本及version版本的变量

[root@master chart]# helm upgrade deploy wzh02 -n helm-wzh01 
Release "deploy" has been upgraded. Happy Helming!
NAME: deploy
LAST DEPLOYED: Sun Oct 13 11:33:46 2024
NAMESPACE: helm-wzh01
STATUS: deployed
REVISION: 3
TEST SUITE: None
NOTES:
恭喜你,安装成功: 
安装的服务名称是: wzh02
安装的服务版本是: v1.0
官网地址是: https://www.wzh.info

• 再次查看

[root@master chart]# kubectl get pod -n helm-wzh01 -o wide
NAME                      READY   STATUS    RESTARTS   AGE     IP               NODE    NOMINATED NODE   READINESS GATES
wzh-dm-7bfb5d8bcc-2228q   1/1     Running   0          16s     10.244.166.140   node1   <none>           <none>
wzh-dm-7bfb5d8bcc-kxmr9   1/1     Running   0          9m40s   10.244.104.12    node2   <none>           <none>
wzh-dm-7bfb5d8bcc-x95nn   1/1     Running   0          15s     10.244.104.13    node2   <none>           <none>


[root@master chart]# curl -I 10.244.104.13
HTTP/1.1 200 OK
Server: nginx/1.16.1
Date: Sun, 13 Oct 2024 03:43:14 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 13 Aug 2019 10:05:00 GMT
Connection: keep-alive
ETag: "5d528b4c-264"
Accept-Ranges: bytes

6.2、业务回滚

• 回滚到上一个版本

[root@master chart]# helm rollback deploy -n helm-wzh01 
Rollback was a success! Happy Helming!

• 验证是否回到上一个版本

[root@master chart]# kubectl get pod -n helm-wzh01 -o wide
NAME                      READY   STATUS    RESTARTS   AGE   IP               NODE    NOMINATED NODE   READINESS GATES
wzh-dm-66fd67f684-8s8fm   1/1     Running   0          27s   10.244.166.145   node1   <none>           <none>
wzh-dm-66fd67f684-cqsxp   1/1     Running   0          29s   10.244.104.15    node2   <none>           <none>
wzh-dm-66fd67f684-gswks   1/1     Running   0          28s   10.244.166.144   node1   <none>           <none>
wzh-dm-66fd67f684-gzhn9   1/1     Running   0          29s   10.244.104.16    node2   <none>           <none>
wzh-dm-66fd67f684-tks65   1/1     Running   0          27s   10.244.104.17    node2   <none>           <none>
wzh-dm-66fd67f684-wbmb6   1/1     Running   0          29s   10.244.166.143   node1   <none>           <none>

• 查看镜像版本（此时发现回到了上一个版本，1.24对应6个副本）

[root@master chart]# curl -I 10.244.166.143
HTTP/1.1 200 OK
Server: nginx/1.24.0
Date: Sun, 13 Oct 2024 03:45:47 GMT
Content-Type: text/html
Content-Length: 615
Last-Modified: Tue, 11 Apr 2023 17:21:57 GMT
Connection: keep-alive
ETag: "64359735-267"
Accept-Ranges: bytes

6.3、回滚到指定版本

• 目前的版本序列1.20>1.24>1.16>1.24共计4个版本

# 1就代表第一个版本（1.20）
[root@master chart]# helm rollback deploy 1 -n helm-wzh01 
Rollback was a success! Happy Helming!

• 查看镜像版本

[root@master chart]# kubectl get pod -n helm-wzh01 -o wide
NAME                    READY   STATUS    RESTARTS   AGE   IP               NODE    NOMINATED NODE   READINESS GATES
wzh-dm-7794577c-68lh8   1/1     Running   0          35s   10.244.104.18    node2   <none>           <none>
wzh-dm-7794577c-gm2kr   1/1     Running   0          34s   10.244.104.20    node2   <none>           <none>
wzh-dm-7794577c-hzdd8   1/1     Running   0          35s   10.244.166.146   node1   <none>           <none>
wzh-dm-7794577c-p7kbn   1/1     Running   0          34s   10.244.166.147   node1   <none>           <none>
wzh-dm-7794577c-v8lw4   1/1     Running   0          34s   10.244.166.148   node1   <none>           <none>
wzh-dm-7794577c-wl9qw   1/1     Running   0          35s   10.244.104.19    node2   <none>           <none>

[root@master chart]# curl -I 10.244.104.19
HTTP/1.1 200 OK
Server: nginx/1.20.1
Date: Sun, 13 Oct 2024 03:48:06 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 25 May 2021 13:41:16 GMT
Connection: keep-alive
ETag: "60acfe7c-264"
Accept-Ranges: bytes

七、补充：Chart.yaml文件

[root@master chart]# grep -v "^#" wzh02/Chart.yaml 
apiVersion: v2
name: wzh02  # chart名称
description: A Helm chart for Kubernetes

type: application

version: 0.1.0  # helm list查询时CHART字段下的后缀

appVersion: "1.16.0"   # helm list查询时的APP VERSION

八、Helm的共有仓库

• 我们知道，docker拉取镜像时有共有仓库如阿里云、华为云、清华源和私有仓库Harbor
• 同理，Helm也有这个机制

8.1、主流的chart仓库

# 互联网公开的chart仓库，额可以直接使用他们制作好的包
1，微软仓库：Index of /kubernetes/charts/

2，阿里云仓库：https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

8.2、查看现有仓库的信息

• 如下所示，默认没有任何仓库地址

[root@master chart]# helm repo list
Error: no repositories to show

8.3、添加共有仓库

# 添加微软云的helm仓库，仓库起名叫azure
[root@master chart]# helm repo add azure http://mirror.azure.cn/kubernetes/charts/
"azure" has been added to your repositories

# 添加阿里云的helm仓库，仓库起名叫aliyun
[root@master chart]# helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
"aliyun" has been added to your repositories

8.4、更新仓库信息

[root@master chart]# helm repo update
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "aliyun" chart repository
...Successfully got an update from the "azure" chart repository
Update Complete. ⎈Happy Helming!⎈

• 再次查看仓库信息

[root@master chart]# helm repo list
NAME  	URL                                                   
azure 	http://mirror.azure.cn/kubernetes/charts/             
aliyun	https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

8.5、搜索想要的chart

• 搜索有没有es的chart

[root@master chart]# helm search repo elasticsearch
NAME                         	CHART VERSION	APP VERSION	DESCRIPTION                                       
aliyun/elasticsearch-exporter	0.1.2        	1.0.2      	Elasticsearch stats exporter for Prometheus       
azure/elasticsearch          	1.32.5       	6.8.6      	DEPRECATED Flexible and powerful open source, d...
azure/elasticsearch-curator  	2.2.3        	5.7.6      	DEPRECATED A Helm chart for Elasticsearch Curator 
......

8.6、拉取仓库的chart

[root@master chart]# helm pull aliyun/elasticsearch-exporter

[root@master chart]# ls
elasticsearch-exporter-0.1.2.tgz  wzh01  wzh02

8.7、解压第三方的chart压缩包

[root@master chart]# tar xvf elasticsearch-exporter-0.1.2.tgz

• 安装chart到默认名称空间下

# 高版本的k8s取消掉了apps/v1beta2的apiversion
[root@master chart]# sed -i "s/v1beta2/v1/g" elasticsearch-exporter/templates/deployment.yaml 

[root@master chart]# helm install es elasticsearch-exporter
NAME: es
LAST DEPLOYED: Sun Oct 13 12:04:24 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
1. Get the application URL by running these commands:
  export POD_NAME=$(kubectl get pods --namespace default -l "app=es-elasticsearch-exporter" -o jsonpath="{.items[0].metadata.name}")
  echo "Visit http://127.0.0.1:9108/metrics to use your application"
  kubectl port-forward $POD_NAME 9108:9108 --namespace default

• 查看Pod

[root@master chart]# kubectl get pod 
NAME                                         READY   STATUS              RESTARTS   AGE
es-elasticsearch-exporter-7db5d66f4b-zk97l   0/1     Running   0          2m31s

• 查看chart

[root@master chart]# helm list 
NAME	NAMESPACE	REVISION	UPDATED                                	STATUS  	CHART                       	APP VERSION
es  	default  	1       	2024-10-13 12:04:24.281866606 +0800 CST	deployed	elasticsearch-exporter-0.1.2	1.0.2