k8s pod挂载hostPath执行写时报错Permission denied
关于hostPath的权限说明
最近项目中经常遇到pod中container挂载主机hostPath报错无权限问题:
httpd@hostpath-volume:/test-volume$ touch 123
touch: cannot touch '123': Permission denied
于是又复习了一遍hostPath使用方法,发现没有什么新知识的涌入:
值 | 行为 |
---|---|
空字符串(默认)用于向后兼容,这意味着在挂载hostPath卷之前不会进行任何检查 | |
DirectoryOrCreate | 如果给定的路径没有任何东西存在,那将根据需要在此创建一个空目录,权限设置为0755,与kubelet拥有相同的用户与组 |
Directory | 指定路径下必须存在此目录 |
FileOrCreate | 如果给定的路径没有任何东西存在,那将根据需要在此创建一个空文件,权限设置为0644,与kubelet拥有相同的用户与组 |
File | 给定的路径下必须存在文件 |
Socket | 给定的路径下必须存在Unix套接字 |
CharDevice | 给定的路径下必须存在字符设备 |
BlockDevice | 给定的路径下必须存在块设备 |
使用这种卷类型时请注意:
- 由于每个节点上的文件不同,具有相同配置(例如从 podTemplate创建的)的pod在不同节点上的行为可能会有所不同
- 当Kubernetes按照计划添加资源感知调度时,将无法考虑hostPath使用的资源
- 在底层主机上创建的文件或目录只能由root写入。必须在特权容器中以root身份运行进程,或修改主机上文件权限以便写入 hostPath 卷
注意几个话术
- 当值为DirectoryOrCreate和FileOrCreate时,并且给定的路径或文件不存在时,kubelet会自动创建,并且会和kubelet拥有相同的用户与组,说白了,就是你用什么用户起的kubelet创建出来的就是此用户的属主数组。
- 必须在特权容器中以root身份运行进程,或修改主机上文件权限以便写入 hostPath 卷。如果你的容器不是以root用户运行的,这一点可要注意了。
问题的根源
查看发现,容器挂载hostPath写入时报错Permission denied时基本都是容器运行用户不是root的情况下,这就说明,启动容器的用户没有权限在宿主机中属主属组为root的目录或者文件中写入。
这就很清晰明了,只要赋予运行容器的用户写权限,这个问题就解决了。
可是,我们应该赋予哪个用户呢?在宿主机创建一个与启动容器相同的用户然后赋予权限吗?显然不行。
那么容器用户与宿主机用户的对应关系是什么呢?没错,是uid。
只要将宿主机的用户与启动容器用户的uid相对应上,并且给它写的权限,那这个问题就迎刃而解了。
做几个测试
-
先创建一个普通用户起的container
apiVersion: v1 kind: Pod metadata: name: hostpath-volume namespace: default spec: containers: - name: hostpath-container image: nginx-test:v1 imagePullPolicy: IfNotPresent volumeMounts: - mountPath: /test-volume name: dir-volume volumes: - name: dir-volume hostPath: path: /data/vfan/test/ type: DirectoryOrCreate
-
创建这个pod,测试写入
## kubectl create -f hostpath-test.yaml ## httpd@hostpath-volume:/$ cd /test-volume/ httpd@hostpath-volume:/test-volume$ touch 11 22 33 touch: cannot touch '11': Permission denied touch: cannot touch '22': Permission denied touch: cannot touch '33': Permission denied
-
查看宿主机相对应目录的权限
# ll -dh /data/vfan/test/ drwxr-xr-x 2 root root 4.0K Mar 21 14:53 /data/vfan/test/
-
查看容器内用户的uid,并查看宿主机的此uid用户是谁
## 容器内 httpd@hostpath-volume:/test-volume$ id uid=1000(httpd) gid=1000(httpd) groups=1000(httpd) ## 容器外 # grep 1000 /etc/passwd work:x:1000:1000::/home/work:/bin/bash
如果没有相同uid的用户,则创建一个对应用户即可:useradd -u 1000 xxx
-
赋予宿主机对应uid用户权限,再次测试
## 宿主机 chown work:work test/ ## 容器内 httpd@hostpath-volume:/test-volume$ touch 11 22 33 httpd@hostpath-volume:/test-volume$ ls 11 22 33
-
容器内外权限分别是什么?
## 容器内 httpd@hostpath-volume:/test-volume$ ls -ld /test-volume/ drwxr-xr-x 2 httpd httpd 4096 Mar 21 07:27 /test-volume/ ## 容器外 [root@gzbh-intel002.gom vfan]# ll -dh /data/vfan/test/ drwxr-xr-x 2 work work 4.0K Mar 21 15:27 /data/vfan/test/