Linux(6):定时任务

时间:2021-12-31 02:27:44

定时任务

定时任务的说明和分类 

# 定时任务分类:
    1. crond(crontab) 定时任务软件(软件包 cronie)
    2. atd 运行一次
    3. anacron 非7*24小时运行的服务器

# 检查 cronie 是否安装: rpm -qa 软件名
[root@NEO ~]# rpm -qa cronie
cronie-1.4.4-16.el6_8.2.x86_64
[root@NEO ~]# 

# 查看软件包中的内容: rpm -ql 软件包
[root@NEO ~]# rpm -ql cronie
/etc/cron.d
/etc/cron.d/0hourly
/etc/cron.deny
/etc/pam.d/crond
/etc/rc.d/init.d/crond
/etc/sysconfig/crond
/usr/bin/crontab
/usr/sbin/crond
/usr/share/doc/cronie-1.4.4
/usr/share/doc/cronie-1.4.4/AUTHORS
/usr/share/doc/cronie-1.4.4/COPYING
/usr/share/doc/cronie-1.4.4/ChangeLog
/usr/share/doc/cronie-1.4.4/INSTALL
/usr/share/doc/cronie-1.4.4/README
/usr/share/man/man1/crontab.1.gz
/usr/share/man/man5/crontab.5.gz
/usr/share/man/man8/cron.8.gz
/usr/share/man/man8/crond.8.gz
/var/spool/cron
[root@NEO ~]# 

 

系统的定时任务:

# 系统的定时任务:
/etc/cron.hourly
/etc/cron.daily
/etc/cron.weekly
/etc/cron.monthly
# 系统会自动运行里面的内容,系统中毒的时候

# 系统定时任务 + logrotate 命令 完成对日志的日志切割/日志轮询
[root@NEO ~]# ll /var/log/messages* /var/log/secure*
-rw-------  1 root root  747970 Apr  6 23:01 /var/log/messages
-rw-------. 1 root root  560162 Mar 10 13:11 /var/log/messages-20190310
-rw-------. 1 root root 1776477 Mar 18 02:54 /var/log/messages-20190318
-rw-------  1 root root  281719 Mar 25 05:09 /var/log/messages-20190325
-rw-------  1 root root  748600 Apr  2 03:01 /var/log/messages-20190402
-rw-------  1 root root   11127 Apr  6 23:12 /var/log/secure
-rw-------. 1 root root    5897 Mar 10 13:20 /var/log/secure-20190310
-rw-------. 1 root root   15581 Mar 18 02:54 /var/log/secure-20190318
-rw-------  1 root root     842 Mar 25 05:19 /var/log/secure-20190325
-rw-------  1 root root    6890 Apr  2 03:10 /var/log/secure-20190402
[root@NEO ~]# 


# /etc/crontab 是系统定时任务的配置文件之一

用户的定时任务

# 用户的定时任务

# crontab -l  ---> (list) 列表;查看、管理用户定时任务的命令; cron table
# crontab -e  --->  (edit)  编辑;编辑用户的定时任务 (crontab -e 之后的操作和 vim 一模一样)
# /var/spool/cron/root  ---> 用户的定时任务存放的位置   (root 是用户名  root用户的定时任务)
[root@NEO ~]# crontab -l
no crontab for root            # root 用户没有定时任务
[root@NEO ~]# crontab -e
[root@NEO ~]# crontab -l
#oldboy
[root@NEO ~]# ll /var/spool/cron/
total 4
-rw------- 1 root root 8 Apr  7 00:22 root        # 刚才创建的那个定时任务
[root@NEO ~]# 

 

定时任务的使用:

# 定时任务的使用:
# 1. 定时任务依赖的软件(服务) --- 是否能用
    1) 查看当前是否正在运行
    2)    查看 crond 是否开机自启动
# 查看定时任务当前是否在运行:
# 方法一: 
[root@NEO ~]# /etc/init.d/crond status
crond (pid  1555) is running...
# 方法二: ps -ef ---> 该命令用于 显示系统中正在运行的进程(这种方法用的比较多);process status
[root@NEO ~]# ps -ef |grep crond
root       1555      1  0 Apr06 ?        00:00:00 crond                # 这个表示定时任务正在运行
root       1719   1625  0 00:37 pts/0    00:00:00 grep --color=auto crond
         # 第二列表示 pid (进程号)
         
# 检查定时任务是否开机自启动:chkconfig
[root@NEO ~]# chkconfig |grep crond
crond              0:off    1:off    2:on    3:on    4:on    5:on    6:off
[root@NEO ~]# 

crontab 命令的使用:

1. crontab -e   ---> edit ;编辑当前用户的定时任务 ---> 该命令即相当于 编辑 vim /var/spool/cron/root 这个文件 (假设当前是root用户)
2. crontab -l   ---> list ;显示当前用户的定时任务 ---> 该命令即相当于 cat /var/spool/cron/root 这个文件 (假设当前是root用户)

# 使用 crontab 命令、而不直接操作相关文件的原因:
    1. 有语法检查功能 格式对不对
    2. 方便

 

定时任务相关文件及目录

# 定时任务相关文件及目录
1. /var/spool/cron/   ---> 定时任务的配置文件所在的目录
2. /var/log/cron      ---> 定时任务的日志文件 (运行过程的一个记录) ; *** 很重要
3. /etc/cron.deny        ---> 哪些用户禁止使用定时任务 ,即 定时任务黑名单

 

定时任务格式与常见写法:

定时任务格式说明:

Linux(6):定时任务

注意:

# 注意: 星期几和日期不要同时加上

 

定时任务中的特殊符号:

# 1.  *  ---> 每 ...;每分钟,每小时 ... ; 5个 * 表示每一分钟 (定时任务中最小单位是分钟)
# 2. /n  ---> 每隔 ... ; */10 * * * * 表示 每隔/每10分钟

# 事例: 每三分钟同步一下系统的时间
# 1). 命令:
[root@NEO ~]# which ntpdate
/usr/sbin/ntpdate
[root@NEO ~]# /usr/sbin/ntpdate ntp1.aliyun.com        # 把这条命令放到 定时任务中
 7 Apr 01:54:44 ntpdate[1793]: step time server 120.25.115.20 offset 141.016804 sec
 
# 注:在定时任务中命令要用绝对路径

# 2). 把命令放到定时任务中
[root@NEO ~]# crontab -e
[root@NEO ~]# crontab -l
#sync time by neo at 20170407
*/3 * * * * /usr/sbin/ntpdate ntp1.aliyun.com
[root@NEO ~]# 

# 3). 检查:3.1 看日志;3.2 看结果
[root@NEO ~]# date
Sun Apr  7 02:02:50 CST 2019
[root@NEO ~]# date -s "1year"    # 先把系统时间修改掉
Tue Apr  7 02:02:57 CST 2020

[root@NEO ~]# tail -f /var/log/cron
Apr  7 01:59:19 NEO crontab[1799]: (root) LIST (root)
Apr  7 02:00:01 NEO crond[1555]: (root) RELOAD (/var/spool/cron/root)
Apr  7 02:00:01 NEO CROND[1802]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com)
Apr  7 02:00:01 NEO CROND[1803]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Apr  7 02:01:01 NEO CROND[1812]: (root) CMD (run-parts /etc/cron.hourly)
Apr  7 02:01:01 NEO run-parts(/etc/cron.hourly)[1812]: starting 0anacron
Apr  7 02:01:01 NEO anacron[1824]: Anacron started on 2019-04-07
Apr  7 02:01:01 NEO run-parts(/etc/cron.hourly)[1826]: finished 0anacron
Apr  7 02:01:01 NEO anacron[1824]: Jobs will be executed sequentially
Apr  7 02:01:01 NEO anacron[1824]: Normal exit (0 jobs run)
Apr  7 02:03:01 NEO CROND[1849]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com)   # 定时任务执行
Apr  7 02:03:07 NEO CROND[1854]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com)      # 定时任务执行

[root@NEO ~]# date
Sun Apr  7 02:03:09 CST 2019    # 定时任务执行后,系统时间更新
[root@NEO ~]# 


# 3. -      ===> 表示从...到... , 例如: 07-11 可以表示 7点到11点的时候运行定时任务

# 事例:每天的上午7点到上午11点,每个小时运行CMD命令
* 07-11 * * * * CMD  # 07-11 每分钟运行CMD
00 07-11 * * * CMD  # 07-11 每个小时(整点)运行CMD

# 表示小时的时候一定要注意分钟

# 4. , ---> 逗号 表示 分隔;如: 00 17,19,20 * * *  表示 17点、19点和20点

 

定时任务书写流程与常见失误:

# 定时任务中出现错误不会有提示
# 例题1:每分钟把自己和名字追加到 /oldboy/oldboy.txt 中
[root@NEO oldboy]# crontab -e
[root@NEO oldboy]# crontab -l |tail -2
# append my name to /oldboy/oldboy.txt every minute by neo at 20170407
* * * * * /bin/echo "NEO" >>/oldboy/oldboy.txt
[root@NEO oldboy]# tail -f /var/log/cron

[root@NEO oldboy]# tail -f oldboy.txt

# 例题2:每天晚上的23点及00点到7点 每个小时重启一下 nginx
# 不能写成 23-07,而应是  23,00-07


# 定时任务书写流程:
# 1. 命令行测试 --- 先在命令行测试你写的命令有没有问题
# 2. 把命令放入到脚本中 (命令多了建议写到一个文件中,这个文件就是命令的集合,就是脚本)
# 3. 测试下脚本是否可用
# 4. 写定时任务
# 5. 检查结果:
        5.1 查看定时任务的日志
        5.2 命令是否执行成功

 

定时任务九句箴言

# 1. 定时任务规则之前加上注释  --- 谁在什么时间做什么
# 2. 使用脚本替代命令行定时任务:
        2.1 超过两条命令,都使用脚本
        2.2 脚本:命令的集合,命令大礼包
# 3. 定时任务中date命令 % 百分号:
        定时任务中的 % 会被认为是一个 回车;想要去除 定时任务中 % 的回车,需要用到 \ ,如: date 中的 \%F 和 \%T
        所以 定时任务中 尽量用 脚本(能避免 坑)
# 4. 运行脚本一定要用 /bin/sh 或 sh 
# 5. 定时任务中,命令或脚本结果(正确及错误)定向到黑洞 (>/dev/null 2>&1)或追加到文件中  >>/tmp/oldboy.txt 2>&1
# 6. 避免不必要的程序及命令输出:
        如: tar zcf    # 用这个,
             tar zcvf   # 不要用加 v 的 这个
# 7. 打包压缩使用相对路径(切到目标目录的上一级打包目标)
# 8. 定时任务脚本中的程序文件,尽量用绝对路径:
        1. * * * * * echo oldboy >>oldboy.log  #** oldboy.log 要用绝对路径
        2. 用户的定时任务中,默认存放 在当前用户的 家目录
        3. 系统的定时任务,是存放在根目录下
# 9. 系统与命令位置有关的环境变量问题

# 脚本示例: 每分钟显示当前系统的时间(年-月-日的格式),追加到 /tmp/time.log 中
# 1). 命令
[root@NEO oldboy]# date +%F
2019-04-07
# 2). 脚本: 把脚本都放到 /server/scripts 这个目录中
[root@NEO oldboy]# mkdir -p /server/scripts
[root@NEO oldboy]# vim /server/scripts/show_date.sh
[root@NEO oldboy]# cat /server/scripts/show_date.sh 
date +%F
[root@NEO oldboy]# /server/scripts/show_date.sh      # 运行脚本 的方法
-bash: /server/scripts/show_date.sh: Permission denied    # 执行失败的原因是该脚本没有执行权限
[root@NEO oldboy]# ll /server/scripts/show_date.sh
-rw-r--r-- 1 root root 9 Apr  7 14:30 /server/scripts/show_date.sh
[root@NEO oldboy]# sh /server/scripts/show_date.sh       ### 以后手动执行脚本主要就是用  sh 命令 (sh 是命令解释器的一种,另一种是 bin/bash ;这两种其实是一样的);通过 "sh + 脚本的名字" 就能解决 执行权限 的问题
[root@NEO oldboy]# ls -l `which sh bash` 
-rwxr-xr-x. 1 root root 942200 Mar 23  2017 /bin/bash
lrwxrwxrwx. 1 root root      4 Oct 16 00:36 /bin/sh -> bash        # sh 就是一个指向 /bin/bash 的软链接
[root@NEO oldboy]# sh /server/scripts/show_date.sh 
2019-04-07
[root@NEO oldboy]# sh /server/scripts/show_date.sh >>/tmp/date.log
[root@NEO oldboy]# cat /tmp/date.log 
2019-04-07


# 3). 脚本写入定时任务
[root@NEO oldboy]# crontab -l |tail -2
# print date to file /tmp/date.log by neo at 20190407
* * * * * /bin/sh /server/scripts/show_date.sh >>/tmp/date.log        # /bin/bash + 脚本的名字
[root@NEO oldboy]# 

# 4). 检查:看日志 ; 看文件的内容
[root@NEO oldboy]# tail -f /var/log/cron

[root@NEO oldboy]# tail -f /tmp/date.log 
2019-04-07
2019-04-07
2019-04-07
2019-04-07


# 企业故障案例:
# 5. 定时任务中,命令或脚本结果(正确及错误)定向到黑洞 (>/dev/null 2>&1)或追加到文件中  >>/tmp/oldboy.txt 2>&1
[root@NEO ~]# crontab -l
#sync time by neo at 20170407
*/3 * * * * /usr/sbin/ntpdate ntp1.aliyun.com            >/dev/null 2>&1   # 应该定向到黑洞

# append my name to /oldboy/oldboy.txt every minute by neo at 20170407
# * * * * * /bin/echo "NEO" >>/oldboy/oldboy.txt        2>&1            # 遇到追加到文件时, 就不需要追加到黑洞; echo NEO >>/oldboy/oldboy.txt 2>&1 表示 把前面命令的信息追加到文件,无论是对的还是错的信息都追加到这个文件中(对错说的是命令对还是错)

# print date to file /tmp/date.log by neo at 20190407
* * * * * /bin/sh /server/scripts/show_date.sh >>/tmp/date.log    2>&1   # 把前面脚本的执行结果追加到文件中,无论对的还是错的都追加到该文件中
[root@NEO ~]# 

# 故障案例:如果不这么做,会怎么样 ?
# 如果定时任务规则结尾不加 >/dev/null 2>&1 或者追加到文件中 >>/tmp/oldboy 2>&1 ,很容易导致硬盘 inode 空间被占满,从而系统服务不正常

# 定时任务中 命令或脚本的结果 没有定向到空或文件中:
# 1. 邮件的软件没有开启 --- 大量小文件堆积在 /var/spool/postfix/maildrop/  --- inode 满了
# 2. 邮件软件开启了  ---  定时任务会不断的给 root 用户发邮件 ---  You have new mail in /var/spool/mail/root

# 查看邮件服务有没有开: /etc/init.d/postfix status
[root@NEO ~]# /etc/init.d/postfix status
master (pid  1500) is running...
You have new mail in /var/spool/mail/root
[root@NEO ~]# 

# 该邮件服务需要关闭:(服务器上的服务开的越少越好) 
# /etc/init.d/postfix stop    # 临时关闭
# chkconfig postfix off        # 不让 postfix 开机运行

# 模拟工作中 邮件服务关闭的情况
[root@NEO ~]# /etc/init.d/postfix stop
Shutting down postfix:                                     [  OK  ]
You have new mail in /var/spool/mail/root
[root@NEO ~]# /etc/init.d/postfix stop
[root@NEO ~]# chkconfig postfix off
[root@NEO ~]# chkconfig |grep postfix
postfix            0:off    1:off    2:off    3:off    4:off    5:off    6:off
[root@NEO ~]# 

# 关闭邮件服务后, 定时任务没有定向到空,它就会不断的给你发邮件,但是你把邮件关了,系统会把这些发不出去的邮件临时找一个邮件的临时目录放着: /var/spool/postfix/maildrop/

[root@NEO ~]# ll /var/spool/postfix/maildrop/
total 12
-rwxr--r-- 1 root postdrop 499 Apr  7 21:39 16C403F8A7
-rwxr--r-- 1 root postdrop 502 Apr  7 21:42 9CE953F8EC
-rwxr--r-- 1 root postdrop 502 Apr  7 21:36 A1BFC3F899    # 会占用一个 inode 
[root@NEO ~]# 

# 解决办法: 定时任务定向到空或文件中
[root@NEO ~]# crontab -e
[root@NEO ~]# crontab -l
#sync time by neo at 20170407
*/3 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1

# append my name to /oldboy/oldboy.txt every minute by neo at 20170407
# * * * * * /bin/echo "NEO" >>/oldboy/oldboy.txt 2>&1

# print date to file /tmp/date.log by neo at 20190407
* * * * * /bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1
[root@NEO ~]# 


# 定时任务运行脚本环境变量问题;系统与命令位置有关的环境变量问题
# 每分钟 显示当前系统的时间:年-月-日_周 和当前系统的ip地址,追加到 /tmp/ip.log 文件中
# 1). 命令:
[root@NEO ~]# date +%F_%w
2019-04-07_0
[root@NEO ~]# ifconfig eth0 |awk -F "[ :]+" 'NR==2{print $4}'
10.0.0.200

# 2). 脚本:
[root@NEO ~]# vim /server/scripts/ip.sh
[root@NEO ~]# cat /server/scripts/ip.sh 
date +%F_%w
ifconfig eth0 |awk -F "[ :]+" 'NR==2{print $4}'
[root@NEO ~]# /bin/sh /server/scripts/ip.sh
2019-04-07_0
10.0.0.200
[root@NEO ~]# /bin/sh /server/scripts/ip.sh >>/tmp/ip.log
[root@NEO ~]# cat /tmp/ip.log 
2019-04-07_0
10.0.0.200

# 3). 写到定时任务中
[root@NEO ~]# crontab -e
[root@NEO ~]# crontab -l|tail -2
# print date + ip to file /tmp/ip.log by neo at 201904072314
* * * * * /bin/sh /server/scripts/ip.sh >>/tmp/ip.log 2>&1

[root@NEO ~]# tail -f /var/log/cron
Apr  7 23:14:01 NEO CROND[2329]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1)
Apr  7 23:15:01 NEO CROND[2334]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1)
Apr  7 23:15:01 NEO CROND[2335]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1)
Apr  7 23:16:01 NEO CROND[2340]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1)
Apr  7 23:16:10 NEO crontab[2326]: (root) REPLACE (root)
Apr  7 23:16:10 NEO crontab[2326]: (root) END EDIT (root)
Apr  7 23:16:21 NEO crontab[2343]: (root) LIST (root)
Apr  7 23:17:01 NEO crond[1541]: (root) RELOAD (/var/spool/cron/root)
Apr  7 23:17:01 NEO CROND[2347]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1)
Apr  7 23:17:01 NEO CROND[2348]: (root) CMD (/bin/sh /server/scripts/ip.sh >>/tmp/ip.log 2>&1)

[root@NEO ~]# tail -f /tmp/ip.log 
2019-04-07_0
10.0.0.200
2019-04-07_0
/server/scripts/ip.sh: line 2: ifconfig: command not found
2019-04-07_0
/server/scripts/ip.sh: line 2: ifconfig: command not found        # 命令找不到的原因: PATH 环境变量的问题

# /server/scripts/ip.sh: line 2: ifconfig: command not found 的解决办法:ifconfig 改为 /sbin/ifconfig
[root@NEO ~]# vim /server/scripts/ip.sh
[root@NEO ~]# cat /server/scripts/ip.sh 
date +%F_%w
/sbin/ifconfig eth0 |awk -F "[ :]+" 'NR==2{print $4}'
[root@NEO ~]# 

[root@NEO ~]# tailf /tmp/ip.log 
2019-04-07_0
/server/scripts/ip.sh: line 2: ifconfig: command not found
2019-04-07_0
/server/scripts/ip.sh: line 2: ifconfig: command not found
2019-04-07_0
/server/scripts/ip.sh: line 2: ifconfig: command not found
2019-04-07_0
/server/scripts/ip.sh: line 2: ifconfig: command not found
2019-04-07_0
10.0.0.200
2019-04-07_0
10.0.0.200        # ifconfig 命令就能正常运行

#  定时任务运行脚本的时候可以识别的PATH只有 /usr/bin 和 /bin (echo tar date 命令都在这两个路径中,所以这些命令不用绝对路径也没问题),但 ifconfig 命令需要用绝对路径,因为 ifconfig 命令在 /sbin/ifconfig
[root@NEO ~]# which ifconfig ntpdate
/sbin/ifconfig
/usr/sbin/ntpdate
[root@NEO ~]# 
# 解决办法: 
    1. 命令使用绝对路径
    2. 在脚本开头重新定义一下 PATH ,如: export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
        JAVA tomcat 里面一般需要重新定义 PATH 环境变量
    
    # 记忆:
        /bin  /sbin                            # /
        /usr/bin  /usr/sbin                    # /usr
        /usr/local/bin  /usr/local/sbin        # /usr/local

 

如何删除大量小文件

# 某个目录有大量小文件,删除方法:
    # 1. ls |xargs rm 
    # 2. 删除文件所在的目录(删除之前记录好权限和所有者)
# 创建环境:

[root@NEO oldboy]# mkdir -p /test
[root@NEO oldboy]# cd /test
[root@NEO test]# ll
total 0
[root@NEO test]# touch {1..500000}.txt
-bash: /bin/touch: Argument list too long        # 创建文件太多,报错;解决办法如下:

[root@NEO test]# echo {1..500000}.txt |xargs touch        # 创建大量文件
[root@NEO test]# df -i
Filesystem     Inodes  IUsed IFree IUse% Mounted on
/dev/sda3      593344 555467 37877   94% /
tmpfs           60748      1 60747    1% /dev/shm
/dev/sda1       51200     39 51161    1% /boot
[root@NEO test]# ls |wc -l
500000
[root@NEO test]# pwd
/test
[root@NEO test]# \rm -f *
-bash: /bin/rm: Argument list too long        # 文件太多,直接删除也会报错;解决办法: 交给 |xargs 删除: ls |xargs \rm -f
[root@NEO test]# ls |xargs \rm -f
[root@NEO test]# ll
total 0