2020-04-23-k8s 利用subpathexpr处理日志落盘

在k8s中，有些服务日志除了标准输出，还有写入日志文件，若要对这些日志文件进行持久化，不管是通过网络文件存储还是hostpath，都会面临一个问题，多个pod会往同一个文件写入，日志就乱了。

解决方法通常是在存储上先以pod hostname 建个目录，再往里写日志，使用sidercar pod 或者 修改启动脚本，但都不够简便或者太费资源。

现在可以通过subpathexpr 方式，在deployment 的yaml文件中，把pod name 以变量方式取出来，作为存储卷上的子目录来使用。

subpathexpr 用法说明

使用 subPathExpr 字段从 Downward API 环境变量构造 subPath 目录名。 在使用此特性之前，必须启用 VolumeSubpathEnvExpansion 功能开关。 subPath 和 subPathExpr 属性是互斥的。 VolumeSubpathEnvExpansion 从k8s 1.15 开始就默认开启，1.17 GA.

在这个示例中，Pod 基于 Downward API 中的 Pod 名称，使用 subPathExpr 在 hostPath 卷 /mnt 中创建目录 pod1。 主机目录 /mnt/pod1 挂载到了容器的 /logs 中。

这是官方demo，注意hostpath 的路径需要在节点上已存在，而且不要用官方写的 /var/log/pods , 可以换成 /mnt 或者 /tmp ，原因见最后

apiVersion: v1
kind: Pod
metadata:
  name: pod1
spec:
  containers:
  - name: container1
    env:
    - name: POD_NAME
      valueFrom:
        fieldRef:
          apiVersion: v1
          fieldPath: metadata.name
    image: busybox
    command: [ "sh", "-c", "while [ true ]; do echo 'Hello'; sleep 10; done | tee -a /logs/hello.txt" ]
    volumeMounts:
    - name: workdir1
      mountPath: /logs
      subPathExpr: $(POD_NAME)
  restartPolicy: Never
  volumes:
  - name: workdir1
    hostPath:
      path: /mnt

所以上面一共有三个关键点

• 第一是 VolumeSubpathEnvExpansion 这个功能开关必须要打开，k8s 1.15 开始默认开启，1.17 GA

Feature	Default	Stage	Since	Until
VolumeSubpathEnvExpansion	false	Alpha	1.14	1.14
VolumeSubpathEnvExpansion	true	Beta	1.15	1.16
VolumeSubpathEnvExpansion	true	GA	1.17	-

官方说明 https://kubernetes.io/docs/reference/command-line-tools-reference/feature-gates/

• 第二就是 subpathexpr 这个参数，支持带拓展的环境变量

• 第三是 POD_NAME 的值获取，使用到了downwardapi，通过这个特性可以获取到pod的 name，namespace, uid, podIP, nodeName 等； 以及cpu，mem的request 和limit， 这个在一些java应用中经常会用到。 还可以把 label annotations 以文件的方式挂载到容器内。

官方说明 https://kubernetes.io/docs/tasks/inject-data-application/downward-api-volume-expose-pod-information/

通过yaml 创建pod 测试一下

[root@k8s ~]# kubectl apply -f pod1.yaml
pod/pod1 created
[root@k8s ~]# ls /mnt/
pod1
[root@k8s ~]# ls /mnt/pod1/
hello.txt

[root@k8s ~]# kubectl exec -it pod1 sh
/ # ls /logs/
hello.txt

证实了 /mnt/pod1 挂载到了容器的 /logs

deployment 示例

如果还想在目录里把namespace 加上，来通过一个deployment 测试下

先看下文件，增加了一个环境变量，用于读取 namespace，并添加到了volumeMounts

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: subpath
  name: subpath
spec:
  replicas: 3
  selector:
    matchLabels:
      run: subpath
  template:
    metadata:
      labels:
        run: subpath
    spec:
      containers:
      - name: container1
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: metadata.namespace
        image: busybox
        command: [ "sh", "-c", "while [ true ]; do echo 'Hello'; sleep 10; done | tee -a /logs/hello.txt" ]
        volumeMounts:
        - name: workdir1
          mountPath: /logs
          subPathExpr: $(POD_NAMESPACE)/$(POD_NAME)
      volumes:
      - name: workdir1
        hostPath:
          path: /mnt

通过文件创建deployment

[root@k8s ~]# kubectl apply -f subpath-deploy.yaml

[root@k8s ~]# kubectl get pod
NAME                      READY   STATUS    RESTARTS   AGE
subpath-79dd95cff-8pmz4   1/1     Running   0          20m
subpath-79dd95cff-mtc59   1/1     Running   0          19m
subpath-79dd95cff-mwwqw   1/1     Running   0          20m

[root@k8s ~]# tree /mnt/
/mnt/
└── default
    ├── subpath-79dd95cff-8pmz4
    │   └── hello.txt
    ├── subpath-79dd95cff-mtc59
    │   └── hello.txt
    └── subpath-79dd95cff-mwwqw
        └── hello.txt

4 directories, 3 files

可以看到存储目录 /mnt 下，首先是namespace ，然后是pod name， 每个pod写入的文件都在各自目录，不会出现多个pod 写入同一文件的情况。

hostpath 使用 /var/log/pods 出现的情况

在第一次测试的时候，我按照官方的示例，hostpath 使用/var/log/pods , 等我进入容器的时候，发现进入不了 /logs 目录

[root@k8s ~]# kubectl exec -it pod1 sh
/ # cd logs/
sh: getcwd: No such file or directory

而在宿主机上，/var/log/pods 下也不见 pod1 目录。 把pod1 删了，重新创建，并且持续观察 /var/log/pods 目录，会发现pod1 目开始是创建了的，不到一分钟就被自动删了，查阅资料，应该是被回收机制给清除了，不过我并没有找到相关的清除日志。

/var/log/pods 目录下，都是这种严格规范，按照namespace-podname-id 规则命名的文件夹 kube-system_calico-kube-controllers-b7fb7899c-29sd8_b44230ae-1001-44c0-b661-1f43aac39130

也可以手动在 /var/log/pods 下面建一个目录测试下，一会就被删了。

kubelet 会通过每隔一分钟清理容器，同样，对于这种没有归属pod 的文件夹，也会被清除。可以参考下面的文章，介绍的很好。

垃圾回收机制介绍 https://blog.csdn.net/shida_csdn/article/details/99734411