linux 定时执行shell脚本 定时任务

时间:2023-01-30 07:47:03

在oracle 中可以利用dbms_job包定时执行pl/sql、sql过程,在像备份等需要在操作系统级定时任务只能采用crontab来完成

本文讲述crontab具体用法,以供备忘.

 

在oracle 中可以利用dbms_job包定时执行pl/sql、sql过程,在像备份等需要在操作系统级定时任务只能采用crontab来完成

利用crontab来定时执行任务大致有如下三步:

1、编写shell脚本

2、利用crontab加入到定时任务队列

3、查看作业完成情况

一、如何建立shell脚本

Linux下有很多不同的shell,但我们通常使用bash(bourne again shell)进行编程,因为bash是免费的并且很容易使用

程序必须以下面的行开始(必须方在文件的第一行):

#! /bin/sh

符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。

当编辑好脚本时,要想执行脚本,必须使脚本可以执行

下面的命令,可以使脚本可以执行

chmod +x filename

然后可以输入./filename来执行脚本。

注:在shell编程时,#符号表示注释,只该行结束为止。在编写程序时,最好使用注释。

变量

shell下所有变量都以字符串表示,变量不需要声明,直接使用。直接对变量进行赋值

A="hello world"

取出变量用$符号,如:

#! /bin/sh

A="hello world"

echo "A is:"

echo $A

执行该脚本输出结果如下:

A is :

hello world

shell 命令和流程控制

1)unix命令

在shell中可以使用任意的unix命令,但这里介绍一些更常用的unix命令

echo ''this is a example" :打印输出到屏幕

ls:列出文件列表

cp sourcefile destinationfile :拷贝文件

2)概念:管道,重定向和backtick

这些不是系统命令,但他们经常使用,很重要的

管道 | 将一个命令的输出作为另外一个命令的输入

grep -qa compat | more

重定向:将命令的结果输出到文件,而不是标准输出(屏幕)

〉写入文件并覆盖旧文件

〉〉输出追加到文件的尾部,保留旧文件。

3)流程控制

if ... ; then

...

else if ...;then

...

else

...

fi

通常情况下,可以通过测试命令来对条件进行测试,比如可以比较字符串,判断文件是否存在及是否有执行权限等等

通常用“ [ ] “来表示条件测试,注意这里空格很重要,要确保方括号空格

[ -f "somefile" ] :判断是否是一个文件
[ -x "/bin/ls" ] :判断/bin/ls是否存在并有可执行权限
[ -n "$var" ] :判断$var变量是否有值
[ "$a" = "$b" ] :判断$a和$b是否相等

 

实例  一般编程步骤

任何优秀的脚本都应该有帮助和输入参数,并且写一个伪脚本framework.sh,该脚本包含了大多数脚本都需要的框架结构。

是个非常不错的注意。这时候,我们编写脚本时只需要执行cp命令即可

cp framework.sh myscript

然后插入自己需要的函数就可以了

调试

最简单的调试命令当然是使用echo命令。您可以使用echo在任何怀疑出错的地方打印任何变量值。这也是绝大多数的shell程序员要花费80%的时间来调试程序的原因。Shell程序的好处在于不需要重新编译,插入一个echo命令也不需要多少时间。

  shell也有一个真实的调试模式。如果在脚本"strangescript" 中有错误,您可以这样来进行调试:

sh -x strangescript

  这将执行该脚本并显示所有变量的值。

  shell还有一个不需要执行脚本只是检查语法的模式。可以这样使用:

sh -n your_script

  这将返回所有语法错误。

Redhat linux AS 3 下定时执行任务 

二、cron调度进程

c r o n是系统主要的调度进程,可以在无需人工干预的情况下运行作业。有一个叫做 
c r o n t a b的命令允许用户提交、编辑或删除相应的作业。每一个用户都可以有一个c r o n t a b文件 
来保存调度信息。可以使用它运行任意一个s h e l l脚本或某个命令,每小时运行一次,或一周 
三次,这完全取决于你。每一个用户都可以有自己的c r o n t a b文件,但在一个较大的系统中, 
系统管理员一般会禁止这些文件,而只在整个系统保留一个这样的文件。系统管理员是通过 
c r o n . d e n y和c r o n . a l l o w这两个文件来禁止或允许用户拥有自己的c r o n t a b文件。 
3.1.1 crontab的域 
为了能够在特定的时间运行作业,需要了解c r o n t a b文件每个条目中各个域的意义和格式。 
下面就是这些域: 
第1列分钟1~5 9 
第2列小时1~2 3(0表示子夜) 
第3列日1~3 1 
第4列月1~1 2 
第5列星期0~6(0表示星期天) 
第6列要运行的命令 
  
crontab的范例格式: 
下面是c r o n t a b的格式: 
分< >时< >日< >月< >星期< >要运行的命令 
其中< >表示空格。 
C r o n t a b文件的一个条目是从左边读起的,第一列是分,最后一列是要运行的命令,它位 
于星期的后面。 
在这些域中,可以用横杠-来表示一个时间范围,例如你希望星期一至星期五运行某个作 
业,那么可以在星期域使用1 - 5来表示。还可以在这些域中使用逗号“,”,例如你希望星期一 
和星期四运行某个作业,只需要使用1 , 4来表示。可以用星号*来表示连续的时间段。如果你 
对某个表示时间的域没有特别的限定,也应该在该域填入*。该文件的每一个条目必须含有5 
个时间域,而且每个域之间要用空格分隔。该文件中所有的注释行要在行首用#来表示。 
  
crontab条目举例 
这里有c r o n t a b文件条目的一些例子: 
30 21* * * /apps/bin/cleanup.sh 
上面的例子表示每晚的2 1 : 3 0运行/ a p p s / b i n目录下的c l e a n u p . s h。 
45 4 1,10,22 * * /apps/bin/backup.sh 
上面的例子表示每月1、1 0、2 2日的4 : 4 5运行/ a p p s / b i n目录下的b a c k u p . s h。 
10 1 * * 6,0 /bin/find -name "core" -exec rm {} ; 
上面的例子表示每周六、周日的1 : 1 0运行一个f i n d命令。 
0,30 18-23 * * * /apps/bin/dbcheck.sh 
上面的例子表示在每天1 8 : 0 0至2 3 : 0 0之间每隔3 0分钟运行/ a p p s / b i n目录下的d b c h e c k . s h。 
0 23 * * 6 /apps/bin/qtrend.sh 
上面的例子表示每星期六的11 : 0 0 p m运行/ a p p s / b i n目录下的q t r e n d . s h。 
  
你可能已经注意到上面的例子中,每个命令都给出了绝对路径。当使用c r o n t a b运行s h e l l 
脚本时,要由用户来给出脚本的绝对路径,设置相应的环境变量。记住,既然是用户向c r o n 
提交了这些作业,就要向c r o n提供所需的全部环境。不要假定c r o n知道所需要的特殊环境,它 
其实并不知道。所以你要保证在s h e l l脚本中提供所有必要的路径和环境变量,除了一些自动 
设置的全局变量。 
  
命令形式: 
c r o n t a b命令的一般形式为: 
Crontab [-u user] -e -l -r 
其中: 
-u 用户名。 
-e 编辑c r o n t a b文件。 
-l 列出c r o n t a b文件中的内容。 
-r 删除c r o n t a b文件。 
如果使用自己的名字登录,就不用使用- u选项,因为在执行c r o n t a b命令时,该命令能够 
知道当前的用户 
  
建一个新的crontab文件 
  
在考虑向c r o n进程提交一个c r o n t a b文件之前,首先要做的一件事情就是设置环境变量 
E D I TO R。c r o n进程根据它来确定使用哪个编辑器编辑c r o n t a b文件。9 9 %的U N I X和L I N U X用 
户都使用v i,如果你也是这样,那么你就编辑$ H O M E目录下的. p r o f i l e文件,在其中加入这样 
一行: 
EDITOR=vi; export EDITOR 
然后保存并退出。 
不妨创建一个名为< u s e r > c r o n的文件,其中< u s e r >是用户名,例如, j a m e s c r o n。在该文件中加入如下的内容。 
#。。。。这里是解释的话 
0,15,30,45 18-06 * * * /bin/echo 'time'>/dev/console 
  
保存并退出。确信前面5个域用空格分隔。 
在上面的例子中,系统将每隔1 5分钟向控制台输出一次当前时间。如果系统崩溃或挂起, 
从最后所显示的时间就可以一眼看出系统是什么时间停止工作的。在有些系统中,用t t y 1来表 
示控制台,可以根据实际情况对上面的例子进行相应的修改。 
为了提交你刚刚创建的c r o n t a b文件,可以把这个新创建的文件作为c r o n命令的参数: 
$ crontab jamescron 
现在该文件已经提交给c r o n进程,它将每隔1 5分钟运行一次。 
同时,新创建文件的一个副本已经被放在/ v a r / s p o o l / c r o n目录中,文件名就是用户名(即, 
james)。 
  
列出crontab文件: 
  
为了列出c r o n t a b文件,可以用: 
你将会看到和上面类似的内容。可以使用这种方法在$ H O M E目录中对c r o n t a b文件做一备 
份: 
$ crontab -l > $HOME/mycron 
这样,一旦不小心误删了c r o n t a b文件,可以用上一节所讲述的方法迅速恢复。 
  
编辑crontab文件: 
  
如果希望添加、删除或编辑c r o n t a b文件中的条目,而E D I TO R环境变量又设置为v i,那么 
就可以用v i来编辑c r o n t a b文件,相应的命令为: 
$ crontab -e 
可以像使用v i编辑其他任何文件那样修改c r o n t a b文件并退出。如果修改了某些条目或添加了新的条目,那么在保存该文件时, c r o n会对其进行必要的完整性检查。如果其中的某个域出现了超出允许范围的值,它会提示你。 
保存并退出。最好在c r o n t a b文件的每一个条目之上加入一条注释,这样就可以知道 
它的功能、运行时间,更为重要的是,知道这是哪位用户的作业。 
可以使用前面讲过的crontab -l命令列出它的全部信息 
  
为了删除c r o n t a b文件,可以用: 
$ crontab -r

三,可以利用重定向命令来输出运行结果

> ,>>

四、具体实例

sh脚本文件:test.sh

#! /bin/sh

su - oracle << EOF  

sqlplus test/test@test @"test.sql"

sql脚本文件:test.sql

insert into test_tb values (sysdate);

crontab文件:

0,15,30,45 * * * * /apps/bin/test.sh


===============================================================================================


Linux中,周期执行的任务一般由cron这个守护进程来处理  ps -ef | grep cron 

cron读取一个或多个配置文件,这些配置文件中包含了命令行及其调用时间。

cron的配置文件称为“crontab”,是“cron table”的简写。

一、 cron在3个地方查找配置文件(设置shell脚本):

1、/var/spool/cron/yanggang 这个目录下存放的是每个用户(包括root)的crontab任务,每个任务以创建者的名字命名,比如用户tom建的crontab任务对应的文件就是/var/spool/cron/tom

 yanggang@barry$ sudo ls -l /var/spool/cron/(或有时是 /var/spool/cron/crontabs/)
-rw------- 1 root     crontab 1071 2011-09-19 17:20 root

-rw------- 1 yanggang crontab 1176 2011-09-24 11:07 yanggang

一般一个用户最多只有一个crontab文件(如:root, yanggang等),其对应日志在/var/spool/mail/root(或/var/spool/mail/yanggang)文件里


2、/etc/crontab 这个文件负责安排由系统管理员制定的维护系统以及其他任务的crontab。
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
# .---------------- minute (0 - 59) 
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ... 
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7)  OR
#sun,mon,tue,wed,thu,fri,sat 
# |  |  |  |  |
# *  *  *  *  *  command to be executed

例如:

*/5 * * * * root /usr/libexec/atrun

minute:代表一小时内的第几分,范围 0-59。 
hour:代表一天中的第几小时,范围 0-23。 
mday:代表一个月中的第几天,范围 1-31。 
month:代表一年中第几个月,范围 1-12。 
wday:代表星期几,范围 0-7 (0及7都是星期天)。 
who:要使用什么身份执行该指令,当您使用 crontab -e 时,不必加此字段。 
command:所要执行的指令。 


3、/etc/cron.d/ 这个目录用来存放任何要执行的crontab文件或脚本。



二、 权限
crontab权限问题到/var/adm/cron/下一看,文件cron.allow和cron.deny是否存在
用法如下: 
1、如果两个文件都不存在,则只有root用户才能使用crontab命令。 
2、如果cron.allow存在但cron.deny不存在,则只有列在cron.allow文件里的用户才能使用crontab命令,如果root用户也不在里面,则root用户也不能使用crontab。 
3、如果cron.allow不存在, cron.deny存在,则只有列在cron.deny文件里面的用户不能使用crontab命令,其它用户都能使用。 
4、如果两个文件都存在,则列在cron.allow文件中而且没有列在cron.deny中的用户可以使用crontab,如果两个文件中都有同一个用户,
以cron.allow文件里面是否有该用户为准,如果cron.allow中有该用户,则可以使用crontab命令。 


AIX 中 普通用户默认都有 crontab 权限,如果要限制用户使用 crontab ,就需要编辑/var/adm/cron/cron.deny 
HP-UNIX 中默认普通用户没得crontab 权限 ,要想放开普通用户的crontab 权限可以编


三、 创建cron脚本

第一步:写cron脚本文件,命名为crontest.cron。
15,30,45,59 * * * * echo "xgmtest....." >> xgmtest.txt  表示,每隔15分钟,执行打印一次命令 
第二步:添加定时任务。执行命令 “crontab crontest.cron”。搞定 
第三步:"crontab -l" 查看定时任务是否成功或者检测/var/spool/cron下是否生成对应cron脚本



四、 cron服务
  cron是一个linux下 的定时执行工具,可以在无需人工干预的情况下运行作业。
  /sbin/service crond start    //启动服务
  /sbin/service crond stop     //关闭服务
  /sbin/service crond restart  //重启服务
  /sbin/service crond reload   //重新载入配置
  /sbin/service crond status   //查看服务状态 

例如: 使用sudo停止与启动服务

yanggang@barry$sudo service cron stop
cron stop/waiting
yanggang@barry$ sudo service cron start
cron start/running, process 7502



五、 crontab用法 
crontab命令用于安装、删除或者列出用于驱动cron后台进程的表格,用户把需要执行的命令序列放到crontab文件中以获得执行。
每个用户都可以有自己的crontab文件,/var/spool/cron下的crontab文件不可以直接创建或者直接修改,该crontab文件是通过crontab -e命令创建的

在crontab文件中如何输入需要执行的命令和时间,该文件中每行都包括六个域,其中前五个域是指定命令被执行的时间,最后一个域是要被执行的命令。
    每个域之间使用空格或者制表符分隔。格式如下: 
      minute hour day-of-month month-of-year day-of-week commands 
合法值 00-59 00-23 01-31 01-12 0-6 (0 is sunday) 

除了数字还有几个个特殊的符号就是"*"、"/"和"-"、",",*代表所有的取值范围内的数字

"/"代表每的意思,"/5"表示每5个单位,"-"代表从某个数字到某个数字,","分开几个离散的数字。

-l 在标准输出上显示当前的crontab。 

-r 删除当前的crontab文件。 

-e 使用VISUAL或者EDITOR环境变量所指的编辑器编辑当前的crontab文件。

当结束编辑离开时,编辑后的文件将自动安装。 



几个例子: 
每天早上6点 
0 6 * * * echo "Good morning." >> /tmp/test.txt //注意单纯echo,从屏幕上看不到任何输出,因为cron把任何输出都email到root的信箱了。

每两个小时 
0 */2 * * * echo "Have a break now." >> /tmp/test.txt  

晚上11点到早上8点之间每两个小时和早上八点 
0 23-7/2,8 * * * echo "Have a good dream" >> /tmp/test.txt

每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点 
0 11 4 * 1-3 command line

1月1日早上4点 
0 4 1 1 * command line SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root //如果出现错误,或者有数据输出,数据作为邮件发给这个帐号 HOME=/ 

每小时(第一分钟)执行/etc/cron.hourly内的脚本
01 * * * * root run-parts /etc/cron.hourly


每天(凌晨4:02)执行/etc/cron.daily内的脚本

02 4 * * * root run-parts /etc/cron.daily 


每星期(周日凌晨4:22)执行/etc/cron.weekly内的脚本

22 4 * * 0 root run-parts /etc/cron.weekly 


每月(1号凌晨4:42)去执行/etc/cron.monthly内的脚本 

42 4 1 * * root run-parts /etc/cron.monthly 


注意:  "run-parts"这个参数了,如果去掉这个参数的话,后面就可以写要运行的某个脚本名,而不是文件夹名。   


每天的下午4点、5点、6点的5 min、15 min、25 min、35 min、45 min、55 min时执行命令。 
5,15,25,35,45,55 16,17,18 * * * command

每周一,三,五的下午3:00系统进入维护状态,重新启动系统。
00 15 * *1,3,5 shutdown -r +5

每小时的10分,40分执行用户目录下的innd/bbslin这个指令: 
10,40 * * * * innd/bbslink 

每小时的1分执行用户目录下的bin/account这个指令: 
1 * * * * bin/account

每天早晨三点二十分执行用户目录下如下所示的两个指令(每个指令以;分隔): 
203 * * * (/bin/rm -f expire.ls logins.bad;bin/expire$#@62;expire.1st)  

每年的一月和四月,4号到9号的3点12分和3点55分执行/bin/rm -f expire.1st这个指令,并把结果添加在mm.txt这个文件之后(mm.txt文件位于用户自己的目录位置)。 

12,553 4-91,4 * /bin/rm -f expire.1st$#@62;$#@62;mm.txt 


六、几个问题

crond 进程没有运行

1. 启动crond进程

/etc/init.d/crond start


2. 开机自启动crond进程

chkconfig crond on


crontab 编辑:
输入编辑命令: crontab -e

# m h  dom mon dow   command
SHELL=/bin/bash
30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh

Ctrl + O (写入)——》enter键(保存文件名)——》Ctrl + X(退出) 

输入查看命令: crontab -l

# m h  dom mon dow   command
SHELL=/bin/bash
30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh
建议使用此方式

语法错误:

<code style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; font-family: Consolas, Menlo, Monaco, 'Lucida Console', 'Liberation Mono', 'DejaVu Sans Mono', 'Bitstream Vera Sans Mono', 'Courier New', monospace, serif;"><span class="typ" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(102, 0, 102);">Syntax</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> error</span><span class="pun" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(102, 102, 0);">:</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> </span><span class="str" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(0, 136, 0);">"("</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> unexpected  </span></code>

参见: LINUX - BASH Syntax Error

或者,crontab -e 时指定shell解释器(sh):SHELL=/bin/bash(请参见上面 crontab编辑 示例)


路径错误:

在 /var/spool/crontab/yanggang 中,添加了如下命令,在日志文件 /var/spool/mail/yanggang 中提示找不到 xxx.sh 路径

30 * * * *  /home/barry/top800/top10/top10_fruits/top10_all.sh

30 * * * * bash /home/barry/top800/top10/top10_fruits/top10_all.sh

这是因为你在crontab中使用了绝对路径执行脚本 top10_all.sh,因此在脚本 top10_all.sh 中引用的其它脚本也都需要使用绝对路径,才能被crontab找到并执行

如何避免绝对路径复杂的设置呢,如上文 六、几个问题  所示,采用如下格式:

30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh建议使用此方式,先进入该目录,然后在执行脚本;否则,执行脚本中的其它脚本都需要加绝对路径