企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固


一、Docker安全

Docker容器的安全性,很大程度上依赖于Linux系统自身,评估Docker的安全性时,主要考虑以下几个方面:

  • Linux内核的命名空间机制提供的容器隔离安全
  • Linux控制组机制对容器资源的控制能力安全。
  • Linux内核的能力机制所带来的操作权限安全
  • Docker程序(特别是服务端)本身的抗攻击性。
  • 其他安全增强机制对容器安全性的影响。

命名空间隔离的安全:
当docker run启动一个容器时,Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。与虚拟机方式相比,通过Linux namespace来实现的隔离不是那么彻底。在 Linux 内核中,有很多资源和对象是不能被 Namespace 化的,比如:时间。

控制组资源控制的安全:

  • 当docker run启动一个容器时,Docker将在后台为容器创建一个独立的控制组策略集合。

  • Linux Cgroups提供了很多有用的特性,确保各容器可以公平地分享主机的内存、CPU、磁盘IO等资源。

  • 确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器,它在防止拒绝服务攻击(/sys/fs/cgroup/memory/docker/ 企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    进入子进程目录

    cd 3fb95a0d13764c5c521071f8d8fa20f2e728aebb5f7db9fc99810f4dcf937e19 

    查看内存最大限制

    cat memory.limit_in_bytes 

    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    进入上一条目录,查看主机内存最大限制

    cd .. cat memory.limit_in_bytes 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    查看docker run用于内存限制的用法

    docker run --help |grep mem 

    限制内存大小为200M拉起容器

    docker run -m 200M -d --name demo nginx 

    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    进入容器进程目录,查看限制文件

    cd ac48768ec187807975648dc9b3b076d2128f801008c2482faa8ddad327f406d0 

    可以看到文件修改为200M

    cat memory.limit_in_bytes 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    /dev/shm/是一个在内存中的目录,在此目录/dev/shm/中创建文件会占用内存

    cd /dev/shm/ free -m dd if=/dev/zero of=bigfile bs=1M count=100 free -m 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    完成测试后记得删除测试文件,避免长期占用内存
    rm -f bigfile

    创建新的项目x1的限制目录,会自动继承主机的限制文件

    cd  /sys/fs/cgroup/memory/ mkdir x1 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    限制x1内存最大为200M

    echo 209715200 > memory.limit_in_bytes cat memory.limit_in_bytes 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    进入内存中的目录/dev/shm/,安装cgroup操作命令模块

    cd /dev/shm/ yum search cgroup yum install -y libcgroup-tools.x86_64 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=100 cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    300也可以的原因是启用了swap分区
    删除测试文件,关闭swap分区

    rm -f bigfile swapoff -a 

    无法使用大于200的内存,限制成功

    cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    swap分区别的应用也会用,无法关闭,所以需要限制内存和swap分区共同的大小

    swapon -a swapon -s rm -f bigfile 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    echo 209715200 > memory.memsw.limit_in_bytes 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    再次进入/dev/shm目录中

    cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    2.cpu限制

    进入cpu限制目录

    cd /sys/fs/cgroup/cpu 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    创建新的项目x2

    mkdir x2 cd x2 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    查看进程优先级,重新给定优先级,需要将进程加入tasks才生效

    cat cpu.shares echo 100 > cpu.shares cat cpu.shares 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    创建两个进程

    dd if=/dev/zero of=/dev/null & dd if=/dev/zero of=/dev/null & top 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    将进程号写入tasks

    echo 28049 > tasks 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    top查看进程,发现还是100%使用cpu

    top 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    这是因为虚拟机有两个cpu,目前还没有发生资源争抢,关闭cpu1(注意cpu0是无法关闭的),单个cpu再次查看top

    cd /sys/devices/system/cpu/cpu1/  cat online echo 0 > online #输入0则关闭cpu top 

    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    关闭一个cpu后,一个进程为另个进程cpu使用率的10%左右。

    重启cpu

    echo 1 > online cat online 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固 企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    恢复进程优先级

    cd /sys/fs/cgroup/cpu/x2/ echo 1024 > cpu.shares top 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    显示进程分配cpu,默认-1表示任意

    cat cpu.cfs_quota_us 

    显示进程cpu总配额

    cat cpu.cfs_period_us 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    给定1/5的配额

    echo 20000 > cpu.cfs_quota_us cat cpu.cfs_quota_us 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    查看top

    top 

    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    可以看到 一个进程是另一进程的1/5

    测试结束关闭后台进程

    fg 打开后台的进程,ctrl+c 结束进程
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    3.Block IO限制

    --device-write-bps限制写设备的bps

    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    拉起容器,限制IO速率为30M

    docker run -it --rm --device-write-bps /dev/vda:30MB rhel7 bash 

    direct IO 不使用文件缓存

    dd if=/dev/zero of=bigfile bs=1M count=300 oflag=direct  dd if=/dev/zero of=bigfile bs=1M count=300 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    三、Docker安全加固

    lxcfs增强容器隔离性和资源可见性

    安装并开启服务,查看进程

    yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm lxcfs /var/lib/lxcfs & ps ax 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固 企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固 企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    利用lxcfs增强docker容器隔离性和资源可见性

    docker run  -it -m 256m       -v  /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw       -v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw       -v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw       -v /var/lib/lxcfs/proc/stat:/proc/stat:rw       -v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw       -v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw       ubuntu 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    没有ubuntu镜像可以直接拉取
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    容器内可以只管看到,内存被限制
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    有的时候我们需要容器具备更多的权限,比如操作内核模块,控制swap交换分区,挂载USB磁盘,修改MAC地址等。

    设置特权级运行的容器:--privileged=true

    不加特权什么都干不了

    docker run -it --rm busybox 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    加了特权什么都能干

    docker run -it --rm --privileged=true busybox 
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固
    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固

    –privileged=true权限过大,所以需要设置容器白名单来限制权限

    capabilities手册地址:
    http://man7.org/linux/man-pages/man7/capabilities.7.html

    docker run -it --rm --cap-add=NET_ADMIN busybox 

    只允许进行网络操作,fdisk -l不可以

    企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固 企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固 企业运维实战--最全Docker学习笔记5.Docker安全、容器资源控制、安全加固