Shell脚本使用汇总整理
一、Shell脚本常用的头部格式:
头部的作用就是告知linux此脚本的类型;
常用的头部格式如下:(/bin/bash,是bash的路径,如果不知道路径可以通过which bash进行查看,其它命令的路径也是类似查看的)
(1)#!/bin/bash:普通的linux脚本,也是最常用的,不需要交互;
(2)#!/usr/bin/expect:可以自动交互的linux脚本,有可能需要安装expect,如果linux服务器上没有此expect命令的话。
二、Shell脚本中如何执行Linux或自定义的脚本命令:
在普通的#!/bin/bash脚本中,执行linux命令,一般要写该命令的全路径,如果不知道全路径的,可以通过which 命令,进行查看全路径,如果需要后台执行,就在命令最后+空格+&。
三、Shell脚本中如何进行自动交互:
如果需要在shell脚本中实现自动交互,一般是通过expect进行实现的,方便好用,需要注意的是expect脚本中可能是不能执行一些linux命令的,如果一定需要执行该linxu命令,可以将该Linxu命令写入到一个普通的shell脚本中去,然后在expect脚本中通过调用执行该linux命令的普通脚本,从而实现需求;
Expect脚本具体写法可以参考以下连接:
https://www.cnblogs.com/lixigang/articles/4849527.html
四、Shell脚本如何定时执行:
Linux中定时执行shell脚本,可以通过crond进行控制,需要linux中安装crond,并在通过crontab -e命令进行配置,具体参照以下连接:
https://www.cnblogs.com/bcphp/p/7084967.html
设定定时任务:
crontab -e 然后添加一条定时任务信息 保存文件 service crond restart
修改定时任务:
crontab -e 然后修改某个定时任务信息 保存文件 service crond restart
删除定时任务:
crontab -e 然后删除某个定时任务信息 保存文件即可 service crond restart
查看定时任务:
crontab -l
五、脚本中常用功能:
1、定义变量:
变量名+等号+值(如果是非数字的建议加上双引号)
2、获取变量:
(1)$变量名:此方法获取不太好,没有明确的变量边界;
(2)${变量名}:建议用此方法,变量名有明确的边界;
3、定义数组:
变量名+等号+括号(括号中的内容用空格分割)
4、获取数组中某个角标的值:
${数组名[角标]}:此方法可以获取某个数组中某个角标的值
5、获取当前日期:
6、获取几天前日期:
7、获取几天后日期:
将几天的数字修改为负数即可
8、增强for循环:
9、普通for循环:
10、输出信息:
echo 变量或字符串都可以,用双引号扩住即可;
11、字符串拼接:
直接变量加字符串拼接就行,不需要有+;
12、字符串剪切:
(1)从左边第几个字符开始,截取几个字符:
(2)从左边第几个字符开始,一直到结束:
(3)从右边第几个字符开始,截取几个字符:
(4)从右边第几个字符开始,一直到结束:
13、字符串分隔:
14、条件判断if:
15、常用的运算符:
(1)算数运算符:
(2)关系运算符:
(3)布尔运算符:
(4)字符串运算符:
(5)文件测试运算符:
16、读取文件中的数据存储到一个数组中去:
17、读取文件中的键值对数据存储到一个map中去:
注意:文件中的值一定要是键值对的形式,并且第一列中的名称一般是定死的,不能任意修改;
主要思路:
(1)首先通过两次读取两列的内容存储到两个数组中去;
(2)然后遍历一个数组,用第一个数组中的值作为key,第二个数组中的值作为value值,存储到map中去;
(3)在需要的时候,可以从map中通过输入某个key值获取其value值;
默认是用空格分列的:
指定分列的符号为“=”:
18、判断一个文件是否存在:
判断文件使用:-f
19、判断一个文件夹是否存在:
判断文件夹使用-d
20、定义一个map以及常见使用方法:
如果()中没有内容,那就是一个空map;
其它shell基本常用功能见连接:
http://www.runoob.com/linux/linux-shell.html
六、通过shell脚本定时自动备份mysql数据库数据到sql文件:
1、主要思路:
(1)定义一个数据库备份信息的txt文件,其中有以下几项:
用户名
密码
备份的数据库(多个库用逗号分隔)
备份数据文件的路径
保留备份文件的天数
数据导出工具mysqldump的文件路径
(2)定义一个脚本.sh文件,具体功能如下:
读取txt文件中的信息到一个map中去;
获取备份的数据库字符串,通过分割,结果存储到数组中;
获取当前日期和保留文件天数以前的日期;
首先通过遍历备份数据库数组,删除保留文件天数外的sql文件;
然后再次遍历备份数据库数组,导出数据库中的数据到sql文件;
(3)通过crontab -e命令编辑crontab文件,将后台定时执行脚本.sh文件,然后service crond restart重新启动crond,以便通过crond定时执行脚本文件,实现定时备份mysql数据库中的数据到sql文件中去。
2、具体代码:
(1)备份数据库信息的txt信息如下:
username=root password=123456 backupsFileStr=/wocloud/db/backups backupsFileDay=3 mysqldumpStr=/usr/bin/mysqldump copydb=jeecg,kettle,km,dataSharing,hebei,reportSystem
(2)脚本.sh文件信息如下:
#!/bin/sh #db_backups_conf.txt文件路径 db_backups_conf="/wocloud/shell/db_backups_conf.txt" #判断文件是否存在 if [ -f "${db_backups_conf}" ];then echo $(date +'%Y-%m-%d %H:%M:%S')" 数据库配置信息文件存在,开始进行数据备份" #获取等号前内容,作为map中的Key值 dbArrOne=($(awk -F'[=]' '{print $1}' ${db_backups_conf} )) #获取等号后内容,作为map中的value值 dbArrTwo=($(awk -F'[=]' '{print $2}' ${db_backups_conf})) #创建一个空map declare -A map=() #通过循环,将db_backups_conf配置文件中的信息存储在map中 for((i=0;i<${#dbArrOne[@]};i++)) do map[${dbArrOne[i]}]=${dbArrTwo[i]} done #获取备份数据库的字符串 copyDb=${map["copydb"]} #获取默认的字符串分隔符 old_ifs="$IFS" #设置字符串分隔符为逗号 IFS="," #将备份数据库value值的字符串进行分隔,获取一个数组 dbArr=($copyDb) #将字符串的分隔符重新设置为默认的分隔符 IFS="$old_ifs" #获取当前年月日 saveday=$(date +%Y%m%d) #获取超出备份天数的年月日 delday=$(date -d ${map["backupsFileDay"]}' days ago' +%Y%m%d) #遍历要备份的数据库,删除两天前备份的数据文件 for delDb in ${dbArr[@]}; do echo $(date +'%Y-%m-%d %H:%M:%S')" 删除文件:"${map["backupsFileStr"]}/${delDb}_database_${delday}.sql rm -f ${map["backupsFileStr"]}/${delDb}_database_${delday}.sql done #遍历要备份的数据库,备份数据文件 for saveDb in ${dbArr[@]}; do echo $(date +'%Y-%m-%d %H:%M:%S')" 备份数据库:"${saveDb} ${map["mysqldumpStr"]} -u${map["username"]} -p${map["password"]} ${saveDb} > ${map["backupsFileStr"]}/${saveDb}_database_${saveday}.sql done echo $(date +'%Y-%m-%d %H:%M:%S')" 数据备份完毕,脚本执行完毕" else echo "文件不存在" fi
(3)crontab定时后台执行shell脚本命令如下:(一定要将shell脚本重定向到一个文件中去,以便接收shell脚本的echo输出信息和异常信息)
二、脚本中打印日志信息,制作脚本执行日志文件:
在编写脚本过程中,关键的步骤点,可以通过echo打印日志信息到桌面显示屏中。一般编写的shell脚本都是需要定时执行的,一般通过crond就可以简单的实现shell脚本的定时执行,通过crontab -e编写定时任务的时候,一定要记住,将shell脚本中打印日志的信息重定向到一个文件中去,这样就可以通过观察此文件中的日志信息来观察shell是否正常运行了。
输出日志常用格式:年-月-日 时:分:秒 日志内容
crond中设定定时任务时,重定向的日志文件,最好是在一个文件夹下,每次输出一个文件,这样文件添加一个日期就可以轻松解决,以后也方便查看日志:文件名_日期.txt:
12 10 * * * /wocloud/shell/mysqlBackupsSql.sh &>/wocloud/shell/mysqlBackupsLogs/mysqlBackupsEcho_`date +\%Y-\%m-\%d`.txt 2>&1
非常注意:日志格式化中用的是斜号(Esc下面那个键),不是单引号;