Linux下的shell编程(三)BY 四喜三顺

时间:2021-12-02 07:24:34

正则表达式:
-------------------------------------------------------------------------------------------
^        行起始                ^tux        匹配以tux起始的行
$        行结尾                tux$        匹配以tux结尾的行
.        匹配任意字符            Hack.        匹配Hack1、Hacki,但不匹配Hack12或Hackij,只匹配单个字符
[]        匹配[]内1个字符        coo[kl]        匹配cook或者cool
[^]        匹配[]以外1个字符        9[^01]        匹配92、93等,不匹配91和90
[-]        匹配[-]内1个字符        [1-5]        匹配1、2、3、4、5
?        匹配之前项1次或0次        colou?r        匹配colour或者color
+        匹配之前项1次或多次        roll-9+        匹配roll-9、roll-99、roll-999等
*        匹配之前项0次或多次        co*l        匹配cl、col、cool、coool等
()        创建1个用于匹配的字串    max(tri)?    匹配maxtri或者max
{n}        匹配之前项n次            [0-9]{3}    匹配任意1个3位数
{n,}    至少匹配n次            [0-9]{2,}    匹配任意1个2位数或更多位数
{n,m}    匹配最小n次,最大m次    [0-9]{2,5}    匹配从2位数到5位数之间任意1个数字
|        匹配|两边任一项        O(1st|2nd)    匹配O1st或者O2nd
\        转义符                a\.b        匹配a.b,但不匹配aib、akb等,忽略了.的意义
-------------------------------------------------------------------------------------------
[:alnum:]    字母与数字
[:alpha:]    字母(含大写小写)
[:lower:]    小写字母
[:upper:]    大写字母
[:digit:]    数字
[:blank:]    空格与制表符
[:punct:]    标点符号
[:space:]    包括换行符、回车等在内的所有空白字符
-------------------------------------------------------------------------------------------
\b    单词边界        \bcool\b匹配cool
\B    非单词边界    cool\B不匹配cool,可以匹配coolant
\d    [0-9]
\D    [^0-9]
\w    [0-9a-zA-Z_]
\W    [^0-9a-zA-Z_]
\n    匹配1个新行
\r    匹配回车
\s    匹配单个空白字符
\S    匹配单个非空白字符
-------------------------------------------------------------------------------------------
例如:电子邮件地址的正则表达式 [A-Za-z0-9.]+@[A-Za-z0-9.]+\.[a-zA-Z]{2,4}

grep的用法:
(1)查找
$ grep "matchtext" file1 file2 ...        #在file1、file2等文件中查找matchtext
$ grep -E "[a-z]" file1 file2...        #正则表达式,在file1、file2等文件中查找小写字母
$ egrep "[a-z]" file1 file2...            #正则表达式,在file1、file2等文件中查找小写字母
(2)在多级目录中对文本进行搜索
$ grep "text" . -R -n    #对当前目录查找
例:    $ cd src_dir
    $ grep "test_function()" . -R -n
    ./miscutils/test.c:16:test_function()
意为test_function()在miscutils/test.c的第16行
(3)同时匹配多个样式
$ grep -e "pattern1" -e "pattern2"
$ grep -f pattern_file source_file    #先在pattern_file中逐行写下需要匹配的样式
(4)搜索中包括或者排除文件递归搜索
$ grep "main()" . -r --include *.{c,cpp}    #在当前目录中只递归搜索所有的c和cpp文件
$ grep "main()" . -r --exclude "README"        #在搜索中排除所有的README文件
$ grep "main()" . -r --exclude-dir             #在搜索中排除目录
(5)静默输出
看下面的脚本:
--------------------------------------------------------
#! /bin/bash
# grep.sh

if [ $# -ne 2 ];
then
echo "$0 match_text filenameaaaa"
fi

match_text=$1
filename=$2

grep -q $match_text $filename    #成功返回0,不成功返回非0值

if [ $? -eq 0 ];
then
echo "The text exists in the file"
else
echo "The text does not exist in the file"
fi
---------------------------------------------------------
运行时:$ ./grep.sh "Obama" USA_news.txt

sed用法:
(1)替换给定文本,从stdin中读取
$ sed 's/pattern/replace_string/' file
$ cat file | sed 's/pattern/replace_string/' file
(2)替换给定文本,写入到原文件
$ sed -i 's/pattern/replace_string/' file
(3)替换给定文本,写入到新文件
$ sed 's/pattern/replace_string/' file > newfile

以上(1)(2)(3)只会将每一行的第一个pattern替换掉,如果想替换全部,需加上参数g
$ sed 's/pattern/replace_string/g' file
如果要从第N个pattern开始替换,则:
$ sed 's/pattern/replace_string/Ng' file

's/pattern/replace_string/' 也可以写成's:pattern:replace_string:'或's|pattern|replace_string|'
需要主义的是,如果pattern本身内部有|或者:等的时候,需要转义符,如:sed 's|te\|xt|replace|g'

移除空白行:    $ sed '/^$/d' file        #空白行的正则表达式是^$
移除匹配样式的行:    $ sed '/pattern/d' file
用&标记匹配样式字符串:$ cat file | sed 's/\w\+/[&]/g' file    #这里正则表达式\w\+匹配每一个单词,用[&]替换它,&代表匹配的单词

例题:输入dkdkkiaoiqqiwideiujdiwd,统计每个字母出现字数并按字母表排序
INPUT="dkdkkiaoiqqiwideiujdiwd"
OUTPUT=`echo $INPUT | sed 's/[^n]/&\n/g' | sed '/^$/d' | sort | uniq -c | tr -d ' \n' `
echo $OUTPUT
结果为:1a5d1e6i1j3k1o2q1u2w
其中:
sed 's/[^n]/&\n/g'     #在每个字符后追加1个换行符,使得每行只出现一个字符
sed '/^$/d'         #最后1个字符会被sed替换成“字符+\n”,所以多出1个换行符并在最后形成1个空行,这个命令删除最后的空行
sort                #排序
uniq -c                #打印出每行各重复了多少次
tr -d ' \n'            #删除空格和换行符,形成最终结果

awk用法:
awk 'BEGIN{print "start"} pattern{commands} END{print "end"}' filename
即由3部分组成,BEGIN、END、能够使用模式匹配的通用语句块,3部分可选
机制为:第一步执行BEGIN中的语句;第二步从文件中读取1行,执行pattern{commands},重复这个过程直至文件全部读取完毕;第三步执行END中的语句。
如:$ awk 'BEGIN {i=0} {i++} END {print i}' filename        #统计filename文件的行数
更常见的形式是 awk 'pattern{commands}' filename  #pattern 表示 AWK 在数据中查找的内容,而 commands 是在找到匹配内容时所执行的一系列命令。

awk的特殊变量:
NR    记录行号
NF    记录字段数
$0    当前行的文字内容
$1    第一个字段的文本内容
$2    第二个字段的文本内容
示例:
$ echo "line1 f2 f3"|awk '{print "Line number:"NR}'
Line number:1
$ echo "line1 f2 f3"|awk '{print "Number of fields:"NF}'
Number of fields:3
$ echo "line1 f2 f3"|awk '{print "$2="$2}'
$2=f2
$ echo "line1 f2 f3"|awk '{print "$3="$3}'
$3=f3

打印文件每一行的第三和第二个单词:    $ awk '{print $3 $2}' filename
统计文件行数:    $ awk 'END{print NR}' filename

wget用法:
例如网站下载
$ wget http://att.newsmth.net/att.php?p.1349.56166.262.jpg
$ xdg-open att.php\?p.1349.56166.262.jpg
爬虫技术:
$ wget -r -N -l DEPTH URL
其中:-r代表递归下载,-N代表允许对文件使用时间戳,-l DEPTH指定页面层级

lynx用法:
lynx是纯文本的浏览器,但利用lynx指令可以将它的纯文本格式输出作为网页来获取
下面的命令将网页以ASCII字符的形式下载到文本文件中
$ lynx -dump URL > plain_text_page.txt

curl用法:
$ curl URL            #下载
$ curl URL --silent        #下载,不显示进度信息
$ curl URL --silent -o        #下载,不显示进度信息,将下载数据写入文件,而不是写入标准输出
$ curl URL --silent -o new_filename        #下载,不显示进度信息,将下载数据写入新的文件
$ curl URL --silent -o new_filename --progress        #下载,不显示进度信息,将下载数据写入新的文件,下载过程显示进度条
$ curl URL --max-filesize bytes    #指定最大下载量
$ curl -u user:pass URL        #指定用户名密码
$ curl -u user URL            #指定用户名,需要密码提示

综合练习:制作图片抓取器及下载工具
---------------------------------------------------------------------------------------------
00    #! /bin/bash
01    # downloader.sh
02
03    if [ $# -ne 3 ];
04    then
05        echo "Usage: $0 URL -d DIRECTORY"
06        exit -1
07    fi
08
09    for i in {1..4}
10    do
11        case $1 in
12        -d) shift; directory=$1; shift ;;
13        *) url=${url:-$1}; shift;;
14    esac
15    done
16
17    mkdir -p $directory;
18    baseurl=$(echo $url | egrep -o "https?://[a-z.]+")
19
20    curl -s $url | egrep -o "<img src=[^>]*>"|sed 's/<img src=\"\([^"]*\).*/\1/g' > /tmp/$$.list
21
22    sed -i "s|^/|$baseurl/|" /tmp/$$.list
23
24    cd $directory;
25
26    while read filename;
27    do
28        curl -s -O "$filename" --silent
29
30    done < /tmp/$$.list
------------------------------------------------------------------------------------------------
解析:
(1)$# 代表添加到Shell的参数个数;$0 代表Shell本身的文件名;$1是第1参数、$2是第2参数……
(2)第3-7行意为,判断命令行参数是不是3个,如果不是,退出,并打印出用法提示
(3)shift命令用于左移。比如shift 3表示原来的$4现在变成$1,原来的$5现在变成$2等等,原来的$1、$2、$3丢弃,$0不移动。不带参数的shift命令相当于shift 1。
(4)第12行意为,对第一个参数$1求值,以匹配-d等被检查到的字符串参数,我们可以写成 $ ./downloader.sh -d DIR URL 或者 $ ./downloader.sh URL -d DIR等。使用shift后,$2值赋给$1,再使用shift,$3值赋给$1,以此类推,因此我们通过$1就可以对所有的参数进行求值。
(5)第13行意为,*)对于默认值,在这里能够匹配除了-d以外的任意内容。如果实际情况是$1=" "或$1=URL,我们需要采用$1=URL,所以我们使用url=${url:-$1},如果url不为空,返回URL值,否则,返回$1的值
(6)第20行,egrep -o "<img src=[^>]*>"只打印包括属性值在内的<img>标记,[^>]*用来匹配除了>以外的所有字符
(7)第20行,sed 's/<img src=\"\([^"]*\).*/\1/g'对src="url"进行解析,从已经解析出来的<img>中得到所有的图像文件URL
(8)第22行,由于图像文件有绝对路径(如http://example.com/image.jpg)和相对路径(/image.jpg),对于后者,以/开头,需要用基址URL(base URL)把它转换成http://example.com/image.jpg,用第22行把所有的/替换成baseurl
(9)第26行,while对图片的URL列表进行逐行迭代,并用curl下载图像文件

其他管理类命令:
$ du filename        #列出filename文件占用的磁盘空间,du代表disk usage
$ df                 #列出磁盘空余情况,df代表disk free
$ time command        #执行指令,并列出指令运行时间
$ who                #获取当前登录用户的相关信息
$ w                    #获取当前登录用户的相关信息
$ ps                #收集系统中进程的详细信息,包括PID等
$ which    command        #找出某个命令的位置
$ whereis command    #找出某个命令的位置,并打印出其对应的命令手册的位置以及命令源代码的路径(如果有)
$ file filename        #确定文件类型
$ whatis command    #输出作为参数的命令的简短描述信息