linux内核调试技术之修改内核定时器来定位系统僵死问题

时间:2023-12-20 13:04:56

1.简介

  在内核调试中,会经常出现内核僵死的问题,也就是发生死循环,内核不能产生调度。导致内核失去响应。这种情况下我们可以采用修改系统内核中的系统时钟的中断来定位发生僵死的进程和函数名称。因为内核系统系统时钟采用的是硬件中断的形式存在,所以,软件发生僵死的时候,系统时钟照样会发生中断。

  1.1、我们在命令行输入:# cat /proc/interrupts 
# cat /proc/interrupts
CPU0
30: 8316 s3c S3C2410 Timer Tick -----> 系统时钟
: s3c s3c-mci
: s3c I2SSDI
: s3c I2SSDO
: s3c s3c-mci
: s3c ohci_hcd:usb1
: s3c s3c2440-i2c
: s3c-ext eth0
: s3c-ext s3c-mci
: s3c-uart0 s3c2440-uart
: s3c-uart0 s3c2440-uart
: s3c-adc s3c2410_action
: s3c-adc s3c2410_action
: - s3c2410-wdt
Err:
#
   30:       8316         s3c  S3C2410 Timer Tick 这个就是系统时钟,中断号为30
 1.2、在内核代码中搜索"S3C2410 Timer Tick"字样。
  在Time.c (arch\arm\plat-s3c24xx)文件中有如下代码。
static struct irqaction s3c2410_timer_irq = {
.name = "S3C2410 Timer Tick",
.flags = IRQF_DISABLED | IRQF_TIMER | IRQF_IRQPOLL,
.handler = s3c2410_timer_interrupt,
}; /*
* IRQ handler for the timer
*/
static irqreturn_t
s3c2410_timer_interrupt(int irq, void *dev_id)
{
#if 1
static pid_t pre_pid;
static int cnt=0;
//时钟中断的中断号是30
if(irq==30)
{
if(pre_pid==current->pid)
{
cnt++;
}
else
{
cnt=0;
pre_pid=current->pid;
}
     //如果本进程十秒钟还没有离开的话,就会打印下面的语句
if(cnt==10*HZ)
{
cnt=0;
printk("s3c2410_timer_interrupt : pid = %d, task_name = %s\n",current->pid,current->comm);
}
}
#endif write_seqlock(&xtime_lock);
timer_tick();
write_sequnlock(&xtime_lock);
return IRQ_HANDLED; }

  ①、每个进程都有一个结构task_struct用来存储进程的一些状态信息。current是一个宏,表示当前进程的信息,也就是一个task_struct结构体,所以current->pid为当前进程的pid号,current->comm表示当前进程的name。

  ②、HZ也是一个宏定于,表示1s需要多少次中断。10*HZ表示就就是10s需要多少次中断!

  

2、测试

  编译内核:#make uImage

  加载一个带有while(1);的驱动程序,系统发送僵死,系统会打印如下信息:

# insmod first_drv.ko
# ./firstdrvtest on
s3c2410_timer_interrupt : pid = 770, task_name = firstdrvtest
s3c2410_timer_interrupt : pid = , task_name = firstdrvtest

 根据上述信息可知,发送僵死的进程号为:770,发送僵死的进程名称为:firstdrvtest

3、继续完善,增加PC值,更加详细的定位僵死的地方

    我们知道,当中断发送的时候,在汇编中会调用asm_do_irq函数,

    .macro    irq_handler
get_irqnr_preamble r5, lr
: get_irqnr_and_base r0, r6, r5, lr
movne r1, sp
@
@ routine called with r0 = irq number, r1 = struct pt_regs *
@
adrne lr, 1b
bne asm_do_IRQ #调用C语言的函数
asm_do_IRQ 函数原型:
asmlinkage void __exception asm_do_IRQ(unsigned int irq, struct pt_regs *regs)
{
static pid_t pre_pid;
static int cnt=; struct pt_regs *old_regs = set_irq_regs(regs);
struct irq_desc *desc = irq_desc + irq; /*
* Some hardware gives randomly wrong interrupts. Rather
* than crashing, do something sensible.
*/
if (irq >= NR_IRQS)
desc = &bad_irq_desc; irq_enter(); desc_handle_irq(irq, desc); /* AT91 specific workaround */
irq_finish(irq); irq_exit();
set_irq_regs(old_regs); } 
  asm_do_IRQ这个函数,在这个函数里面我们发现了一个结构体:struct pt_regs,这个结构体就用来保存发生中断时的现场,其中PC值就是:ARM_pc
  我们将上面在:s3c2410_timer_interrupt里面加入的信息都删除,并在:asm_do_IRQ函数里面加修改后改函数为:(红色为添加的程序)
asmlinkage void __exception asm_do_IRQ(unsigned int irq, struct pt_regs *regs)
{ #if 1
static pid_t pre_pid;
static int cnt=0;
//时钟中断的中断号是30
if(irq==30)
{
if(pre_pid==current->pid)
{
cnt++;
}
else
{
cnt=0;
pre_pid=current->pid;
} if(cnt==10*HZ)
{
cnt=0;
printk("s3c2410_timer_interrupt : pid = %d, task_name = %s\n",current->pid,current->comm);
printk("pc = %08x\n",regs->ARM_pc);//打印pc值
}
}
#endif static pid_t pre_pid;
static int cnt=; struct pt_regs *old_regs = set_irq_regs(regs);
struct irq_desc *desc = irq_desc + irq; /*
* Some hardware gives randomly wrong interrupts. Rather
* than crashing, do something sensible.
*/
if (irq >= NR_IRQS)
desc = &bad_irq_desc; irq_enter(); desc_handle_irq(irq, desc); /* AT91 specific workaround */
irq_finish(irq); irq_exit();
set_irq_regs(old_regs); }

4、测试:

# insmod first_drv.ko
# ./firstdrvtest on
s3c2410_timer_interrupt : pid = 771, task_name = firstdrvtest
pc = bf000084

4.1、查看内核中内核函数、加载的函数的地址

  #cat /proc/kallsyms > /kallsyms.txt 

  找到pc地址为bf000084附近的函数:

  

....................................
a first_drv.c [first_drv]
bf000088 t first_drv_init [first_drv]
bf000140 t first_drv_exit [first_drv]
c48761cc ? __mod_license87 [first_drv]
bf000940 b $d [first_drv]
bf000740 d first_drv_fops [first_drv]
bf000740 d $d [first_drv]
bf00003c t first_drv_write [first_drv]  #大概就在这个函数里面,可以确定僵死的地方在
bf000000 t first_drv_open  [first_drv]
bf000000 t $a [first_drv]
bf000038 t $d [first_drv]
bf00003c t $a [first_drv]
bf000114 t $d [first_drv]
bf00094c b firstdrv_class [first_drv]
bf000950 b firstdrv_class_dev [first_drv]
bf000140 t $a [first_drv]
bf000184 t $d [first_drv]
a first_drv.mod.c [first_drv]
c48761d8 ? __module_depends [first_drv]
bf0008ac d $d [first_drv]
c4876204 ? __mod_vermagic5 [first_drv]
c01bd44c u class_device_create [first_drv]
c008ca94 u register_chrdev [first_drv]
c01bd668 u class_device_unregister [first_drv]
bf000948 b major [first_drv]
bf000944 b gpfcon [first_drv]
c0031ad0 u __iounmap [first_drv]
c01bc968 u class_create [first_drv]
bf0007c0 d __this_module [first_drv]
bf000088 t init_module [first_drv]
c008c9dc u unregister_chrdev [first_drv]
bf000140 t cleanup_module [first_drv]
c01bc9dc u class_destroy [first_drv]
bf000940 b gpfdat [first_drv]
c0031a6c u __arm_ioremap [first_drv]
c0172f80 u __copy_from_user [first_drv]
c01752e0 u __memzero [first_drv]

4.2、查看反汇编

  #arm-linux-objdump -D first_drv.ko > first_drv.dis

  在kallsyms.txt中可以知道,first_drv_write的入口地址为 bf00003c

  打开first_drv.dis,如何查找真正僵死的位置?
  (1)首先从反汇编文件中找到位置为00000000的函数:00000000 <first_drv_open>:
  (2)在kallsyms.txt中,first_drv_open 实际位置是:bf000000 
  (3)根据上面的信息,可知知道,在反汇编中,发送僵死的位置为00000084 - 4  处
  (4)查找00000084处代码在函数:first_drv_write中
0000003c <first_drv_write>:
3c: e1a0c00d mov ip, sp
: e92dd800 stmdb sp!, {fp, ip, lr, pc}
: e24cb004 sub fp, ip, # ; 0x4
: e24dd004 sub sp, sp, # ; 0x4
4c: e3cd3d7f bic r3, sp, # ; 0x1fc0
: e3c3303f bic r3, r3, # ; 0x3f
: e5933008 ldr r3, [r3, #]
: e0910002 adds r0, r1, r2
5c: 30d00003 sbcccs r0, r0, r3
: 33a03000 movcc r3, # ; 0x0
: e3530000 cmp r3, # ; 0x0
: e24b0010 sub r0, fp, # ; 0x10
6c: 1a00001c bne e4 <init_module+0x5c>
: ebfffffe bl <first_drv_write+0x34>
: ea00001f b f8 <init_module+0x70>
: e3520000 cmp r2, # ; 0x0
7c: 11a01002 movne r1, r2
80: 1bfffffe blne 80 <first_drv_write+0x44> #错误在这,死循环!!!!
:  ea00001f b 108 <init_module+0x80>

  注意:在arm中,中断保存的PC是当前指令加4,所以真正僵死的位置是:bf00000080,也就是:80