Linux进程管理 (7)实时调度

时间:2021-06-18 22:10:42

关键词:RT、preempt_count、RT patch。

除了CFS调度器之外,还包括重要的实时调度器,有两种RR和FIFO调度策略。本章只是一个简单的介绍。

更详细的介绍参考《Linux进程管理 (9)实时调度类分析,以及FIFO和RR对比实验》。

同时为了提高Linux的实时性,Linux社区还维护了realtime相关的补丁。这些补丁的介绍在《Linux实时补丁及其分析》。

1. 抢占内核

如果Linux内核不支持抢占,那么进程要么主动要求调度,如schedule()或者cond_resched();要么在系统调用、异常处理和中断处理完成返回用户空间前夕。

在支持可抢占内核中,如果唤醒动作发生在系统调用或者异常处理上下文中,在下一次调用preempt_enable()是会检查是否需要抢占调度;

中断处理返回前夕会检查是否要抢占当前进程,注意这里是中断返回而不是不支持抢占情况的用户空间返回。

struct thread_info成员preempt_count计数表示内核是否可以被完全抢占,当preempt_count为0时,表示内核可以被安全抢占;大于0时则禁止抢占。

preempt_count是32bit,低8位用于抢占计数PREEMPT_ACTIVE表示一个很大的抢占计数,通常用于表示抢占调度。

内核提供preempt_disable()来关闭抢占,preempt_count会加1。preempt_enable()函数打开抢占,preempt_count减1后判断是否为0,并检查thread_info的TIF_NEED_RESCHED标志位,如果为0,则用schedule() 完成调度抢占。

#define preempt_disable() \
do { \
preempt_count_inc(); \----------------------------------------对当前current_thread_info()->preempt_count加1
barrier(); \
} while () #define preempt_count_inc() preempt_count_add(1)
#define preempt_count_add(val) __preempt_count_add(val)
static __always_inline void __preempt_count_add(int val)
{
*preempt_count_ptr() += val;
}

#define preempt_enable() \
do { \
barrier(); \
if (unlikely(preempt_count_dec_and_test())) \-----------------prermpt_count减1后为0,且TIF_NEED_RESCHED被置位,则进行schedule()调度抢占。
__preempt_schedule(); \
} while () static __always_inline bool __preempt_count_dec_and_test(void)
{
return !--*preempt_count_ptr() && tif_need_resched();---------对当前preempt_count减1并判断是否为0,如果为0则检查TIF_NEED_RESCHED
} static __always_inline int *preempt_count_ptr(void)
{
return &current_thread_info()->preempt_count;
}
#define tif_need_resched() test_thread_flag(TIF_NEED_RESCHED)-----测试TIF_NEED_RESCHED是否置位
#define test_thread_flag(flag) \
test_ti_thread_flag(current_thread_info(), flag) #define __preempt_schedule() preempt_schedule() asmlinkage __visible void __sched notrace preempt_schedule(void)
{
if (likely(!preemptible()))-----------------------------------判断当前preempt_count是否为0,并且irq没有被禁止。
return; preempt_schedule_common();------------------------------------__schedule()调度抢占。
}
# define preemptible()	(preempt_count() == 0 && !irqs_disabled())

static void __sched notrace preempt_schedule_common(void)
{
do {
__preempt_count_add(PREEMPT_ACTIVE);
__schedule();
__preempt_count_sub(PREEMPT_ACTIVE); /*
* Check again in case we missed a preemption opportunity
* between schedule and now.
*/
barrier();
} while (need_resched());
}

2. 内核实时进展

Linux在提高实时性方面取得一系列进展,具体如下:

主要功能 内核版本 说明
Preemption suport 2.5  
PI Mutexes N/A PI即Priority Inheritance,优先级继承的互斥体
HR Timer 2.6.24 高精度定时器
Preemptive RCU 2.6.25 可抢占RCU
IRQ Threads 2.6.30 中断线程化
Forced IRQ Threads 2.6.39 强制中断线程化
Deadline scheduler 3.14 Deadline调度器
Full Realtime Preemption support rt-patches rt.wiki.kernel.org

3. 内核延迟调试工具

内核提供了一些接口、工具,使我们得以一窥调度延迟。常用的有个ftrace的调度器preemptirqoff、等,以及工具latencytop、cyclictest等。

3.1 ftrace preemptirqsoff

preemptirqsoff可以跟踪关闭中断并禁止进程抢占代码的延时,同时记录关闭的最大时长。

这些tracer可以在Kernel hacking->Tracers中打开。

查看/sys/kernel/debug/tracing/available_tracers可以知道当前支持的tracer,里面有preemptirqsoff、preemptoff、irqsoff三种。

更详细的解释参照《Linux ftrace框架介绍及运用》。

下面是一个preemptirqsoff实例,可以看出禁止抢占、屏蔽中断的函数排列。以及最大值的进程信息和发生时的栈信息。

# tracer: preemptirqsoff
#
# preemptirqsoff latency trace v1.1.5 on 4.4.-rt155-custom
# --------------------------------------------------------------------
# latency: us, #/, CPU# | (M:preempt VP:, KP:, SP: HP: #P:)
# -----------------
# | task: gnome-shell- (uid: nice: policy: rt_prio:)
# -----------------
# => started at: schedule
# => ended at: migrate_disable
#
#
# _--------=> CPU#
# / _-------=> irqs-off
# | / _------=> need-resched
# || / _-----=> need-resched_lazy
# ||| / _----=> hardirq/softirq
# |||| / _---=> preempt-depth
# ||||| / _--=> preempt-lazy-depth
# |||||| / _-=> migrate-disable
# ||||||| / delay
# cmd pid |||||||| time | caller
# \ / |||||||| \ | /
...
gnome-sh- ..... 41us!: preempt_count_sub <-_raw_spin_unlock_irq
gnome-sh- ..... 627us : pin_current_cpu <-migrate_disable
gnome-sh- .... 628us : preempt_count_sub <-migrate_disable
gnome-sh- .... 628us : migrate_disable <-migrate_disable
gnome-sh- .... 629us+: trace_preempt_on <-migrate_disable
gnome-sh- .... 686us : <stack trace>
=> preempt_count_sub
=> migrate_disable
=> rt_spin_lock
=> add_wait_queue
=> __pollwait
=> unix_poll
=> sock_poll
=> do_sys_poll
=> SyS_poll
=> entry_SYSCALL_64_fastpath

3.2 latencytop

latencytop在内核上下文切换时记录被切换进程的内核栈,然后通过匹配内核栈函数来判断导致上下文切换的原因。

方便判断系统出现哪方面的延迟,还能查看某个进程或者线程的延迟情况。

使用latencytop需要安装libcanberra-gtk-module,并且使能CONFIG_LATENCYTOP(通过Kernel hacking->Latency measuring infrastructure打开)。

执行sudo latencytop,得到如下结果。

整个结果分为三部分,Targets->Cause->Backtrace,分别是进程->问题点->问题点栈回溯。

Linux进程管理 (7)实时调度