《Linux内核精髓:精通Linux内核必会的75个绝技》一HACK #13 使用Block I/O控制器设置I/O优先级

时间:2022-11-08 08:53:14

HACK #13 使用Block I/O控制器设置I/O优先级

本节介绍使用Block I/O控制器的功能设置I/O优先级的方法。
Block I/O控制器可以将任意进程分组,并对该分组设置I/O的优先级。这个功能是在Linux 2.6.33时添加到Linux内核中的。例如,在前台进行一般处理的同时,在后台磁盘备份处理的情况下,如果备份处理频繁地向磁盘进行I/O操作,前台的处理即使有I/O请求,也不能立刻进行I/O处理,结果导致前台处理的性能下降。
Block I/O控制器在这种情况下就非常有效。创建I/O优先级较高的分组和较低的分组,并将前台处理的进程和后台处理的进程分别分配到这些分组中。这样可以使前台处理的I/O优先于后台处理,防止性能下降。
本节将介绍Block I/O控制器的使用方法。使用的Linux内核版本为2.6.35。
使用Block I/O控制器的前提条件
Block I/O控制器是Cgroup的子系统之一,是作为I/O调度程序之一的CFQ的一部分安装的。因此,使用Block I/O控制器时,必须使用启用了下列config选项编译的内核。

CONFIG_BLK_CGROUP
CONFIG_CFQ_GROUP_IOSCHED

确认Cgroup支持
首先确认运行中的内核是否支持Cgroup和Cgroup子系统Block I/O控制器。如果有/proc/cgroups,运行中的内核就可以支持Cgroup。/proc/cgroups的内容如下。

$ cat /proc/cgroups
subsys_name hierarchy num_cgroups enabled
blkio 1 1 1

只要subsys_name列显示了blkio,且enabled为1就没问题。如果看不到blkio,就需要重新编译内核。如果enabled为0,则启动时的内核命令行应当如下所示。

cgroup_disabled=blkio

这时需要修改/boot/grub/grub.conf等,将上述指定从内核命令行中删除,并重新启动。
确认CFQ支持
接下来确认是否能够将CFQ作为I/O调度程序使用。例如,想要查看块设备sdb中可以使用的I/O调度程序时,需要执行下列命令。

$ cat /sys/class/block/sdb/queue/scheduler
noop deadline [cfq]

可以使用的I/O调度程序会显示出来,其中当前选择的调度程序已加上了方括号。如果显示cfq则没问题;如果不显示就需要启用CFQ,重新编译内核。
注意事项:设备种类不同,scheduler文件的内容也不同。I/O调度程序是对一般的块设备使用的,因此,例如在loopback设备loop0等中不会显示cfq。请对sda、sdb等一般的块设备进行确认。
尝试使用Block I/O控制器
Block I/O控制器的设置通过cgroup文件系统进行。关于Cgroup和cgroup文件系统的基本情况请参考Hack #7。
首先挂载cgroup文件。将blkio作为挂载选项,指定将Block I/O控制器作为子系统使用。

# mount -t cgroup -o blkio cgroup/cgroup

然后,在CFQ中为想要控制I/O优先级的块设备设置I/O调度程序。这里使用的块设备是sdb。

# echo cfq > /sys/class/block/sdb/queue/scheduler
$ cat /sys/class/block/sdb/queue/scheduler
noop deadline [cfq]

这时,使用Block I/O控制器前的准备工作就完成了。为了方便讲解,在这里创建优先级较高的分组“high”和优先级较低的分组“low”,并分别向各分组分配1个进程来观察I/O的情况。首先创建分组。

# mkdir /cgroup/high
# mkdir /cgroup/low

对各分组设置I/O的优先级。设置优先级时,在blkio.weight中写入100~1000的“weight值”。初始值为500,值越大表示优先级越高。

# echo 1000 > /cgroup/high/blkio.weight
# echo 100 > /cgroup/low/blkio.weight

小贴士:仅根分组的weight初始值为1000。
为了进行测试,制作一个简单的脚本。这个脚本将进程添加到所指定的两个分组low和high,分别计算出读文件所需的时间。创建如下的“blkio_test.sh”脚本,并为其赋予执行权限。

#! /bin/sh

# blkio_test.sh
# Test script for Block IO Controller
# read /mnt/sdb/low.dat ($flow) as cgroup $cg_low
# and read /mnt/sdb/high.dat ($fhigh) as cgroup $cg_high simultaneously.
#
# $1: cgroup path for lower priority (--> $cg_low)
# $2: cgroup path for higher priority (--> $cg_high)


function print_usage()
{
echo "usage: $0 <cgroup_low> <cgroup_high>"
exit 1
}


##############################
# params and variables

flow=/mnt/sdb/low.dat
fhigh=/mnt/sdb/high.dat

# cgroups to which processes will be asigned

if [ $# != 2 ]; then
print_usage
fi

cg_low=$1
cg_high=$2

for cg in $cg_low $cg_high; do
if [ ! -d $cg ]; then
echo "$cg does not exists"
print_usage
fi
done

# temporary files
out_low=$(mktemp)
out_high=$(mktemp)


##############################
# sync, drop caches and read files

echo -n "sync and drop all caches..."
sync
echo 3 > /proc/sys/vm/drop_caches
echo "done"

echo -n "reading files..."
echo
$$
> $cg_low/tasks
(time dd if=$flow of=/dev/null) > $out_low 2>&1 &

echo
$$
> $cg_high/tasks
(time dd if=$fhigh of=/dev/null) > $out_high 2>&1 &

wait
echo "done"


##############################
# print the results

echo "--------------------"
echo "dd in $cg_low:"
cat $out_low
echo "--------------------"
echo "dd in $cg_high:"
cat $out_high

rm -f $out_low $out_high

首先,在不分组的情况下进行测试。使用同属于根分组的两个进程,同时读入文件。由于脚本读入的是/mnt/sdb/low.dat、/mnt/sdb/high.dat文件,因此需要先创建两个大小适当的文件,再运行脚本。这里创建了约400MB的文件并执行相关代码。

# dd if=/dev/zero of=/mnt/sdb/low.dat bs=1M count=400
# dd if=/dev/zero of=/mnt/sdb/high.dat bs=1M count=400
# ./blkio_test.sh /cgroup /cgroup
--------------------
dd in /mnt/cgroups:
819200+0 records in
819200+0 records out
419430400 bytes (419 MB) copied, 14.0493 s, 29.9 MB/s

real 0m14.156s
user 0m0.261s
sys 0m1.183s
--------------------
dd in /mnt/cgroups:
819200+0 records in
819200+0 records out
419430400 bytes (419 MB) copied, 14.2007 s, 29.5 MB/s

real 0m14.292s
user 0m0.281s
sys 0m1.186s

两个进程同样使用约14秒的时间完成读入。接下来,在分组的情况下进行测试。将两个进程分别添加到low、high分组中,同时读入文件。

# ./blkio_test.sh /cgroup/low /cgroup/high
--------------------
dd in /cgroup/low:
819200+0 records in
819200+0 records out
419430400 bytes (419 MB) copied, 13.0829 s, 32.1 MB/s

real 0m13.388s
user 0m0.250s
sys 0m1.208s
--------------------
dd in /cgroup/high:
819200+0 records in
819200+0 records out
419430400 bytes (419 MB) copied, 7.43459 s, 56.4 MB/s

real 0m7.818s
user 0m0.256s
sys 0m1.209s

属于/cgroup/low的进程完成文件读入耗费约13秒,而属于/cgroup/high的进程完成读入耗费约8秒。与优先级较低,即weight设置值较小的分组相比,优先级较高,即属于weight设置值较大的分组(/cgroup/high)的进程可以优先执行I/O操作。
Block I/O控制器提供的特殊文件
除了blkio.weight以外,Block I/O控制器还提供了一些其他的特殊文件。文件列表如表2-7所示。只读属性的特殊文件是用来获取统计信息的文件,多数是根据各设备、I/O的类型(read/write、sync/async)另起一行的。
表2-7 Block I/O控制器的设置用特殊文件
《Linux内核精髓:精通Linux内核必会的75个绝技》一HACK #13 使用Block I/O控制器设置I/O优先级

小贴士:I/O的合并,是指将应用程序发出的多个I/O请求合并为1个。把相邻扇区的I/O整理到一起后,仅需一次DMA就可以完成I/O,因此可以提高I/O处理的效率。
另外,在启用内核选项CONFIG_DEBUG_BLK_CGROUP进行编译的内核中,还有为用户提供调试用信息的文件,这里不作说明。
关于Block I/O控制器的CFQ设置用虚拟文件
/sys/block//queue/iosched中有CFQ的设置用虚拟文件,表2-8所示文件会对Block I/O控制器的运行产生影响。
表2-8 关于Block I/O控制器的sysfs的CFQ设置文件
《Linux内核精髓:精通Linux内核必会的75个绝技》一HACK #13 使用Block I/O控制器设置I/O优先级

限制事项
由于Block I/O控制器仍是比较新的功能,因此在使用上还有一些限制。接下来列出了到Linux内核版本2.6.35为止存在的限制事项。
不支持非同步I/O
需要各分组进行优先级控制的,当前仅为同步I/O,即初次读入和Direct I/O的读写。普通的写入是经过页面缓存的非同步I/O,因此不属于优先级控制的对象,都被看做根分组发出的I/O。
不支持分组层次化
把分组的层次限制为仅一层,因此无法创建从根分组开始有两层次以上的分组。用cgroup文件系统的目录层次可以显示如下。

/cgroup         # 根分组
/cgroup/gr1 # 第一层:可以创建
/cgroup/gr1/gr2 # 第二层:不可以创建

根分组与子分组作同等处理
根分组不作为其他子分组的上级分组,而是作为同等分组进行处理。当根分组内存在拥有实时I/O优先权的进程时,这个影响比较明显。根分组会被其他子分组抢占,因此即使是实时进程,也不能占用I/O带宽。
Block I/O控制器的结构与注意事项
为了更准确地理解Block I/O控制器的运行,下面介绍其内部结构及其使用上的注意事项。
Block I/O控制器对各分组的I/O请求分配时间片。仅许可各分组在这个时间片内执行I/O操作。分组的weight值越大,时间片的长度越长;weight值越小,时间片的长度越短。通过这种方式来指定分组间的I/O操作的优先级。
这里需要注意的是,优先级不是通过I/O带宽(字节/秒,bps),而是通过时间片的长度来指定的。因此,两个分组在I/O完成所需时间差距极大的模式下执行I/O时,具体来说,就是一个依次读入,另一个随机读入的情况下,各分组的I/O带宽就会与weight值的设置迥然不同。
另外,还需要注意的是,Block I/O控制器只有在针对设备的I/O发生竞争时,才会根据优先级对I/O进行控制。在I/O不发生竞争的情况下,即使是优先级较低的分组,Block I/O控制器也不会禁止I/O的执行。也就是说,如果优先级较高的分组没有对某个设备发出I/O请求,那么即使是优先级较低的分组,也可以使用该设备的全部带宽。这里所说的设备是指实际的物理块设备。dm(device-mapper)等可以为应用程序提供逻辑性块设备,但是Block I/O控制器与逻辑块设备完全无关,只在向物理设备执行I/O时进行控制。当多个分组同时对同一逻辑设备发出I/O请求时,根据这些I/O请求所针对的物理设备不同,实际的I/O有可能竞争,有可能不竞争。这时,想要预测出哪个I/O会优先进行,就必须正确把握逻辑设备和物理设备的对应关系。
小结
Block I/O控制器是正在开发的新功能。还存在前面所述的一些限制,因此更需要大家通过实际体验来发现存在问题或尚有不足的功能,反馈给开发者或者自己大胆地制作出来,才能够将其不断地完善。
参考文献
关于Cgroup请参考Hack #7。
Documentation/cgroups/blkio-controller.txt(内核源文档)
—Munehiro IKEDA