关于shell中的正则表达式和awk的使用

今天有幸得方叔开的小灶，特将课堂笔记整理如下，以备后续使用。

        1、关于正则表达式

• egrep和grep -e都可接正则表达式，若使用grep接正则表达式，则表达式中的"["和“]”需要转义
• 匹配次数

+           表示匹配至少一次
*            表示匹配0次或多次
{m,n}    表示匹配m到n次
{m}       表示只匹配m次

?           表示匹配0次或一次

• 举例将a.txt中的一行“123abc456”替换为“abcd”

             sed -i 's/^[0-9]\{3\}abc[0-9]\{3\}/abcd/g' a.txt

            表达式中的开头的s表示替换，结尾的g表示全局替换，即替换文件中所有匹配行，表达式语法为‘s/匹配的正则表达式/替换后的字符串/g’

        2、awk与gawk

• 区别
  

              gawk可用的函数更多，而awk处理的列不能超过200列

• 语法

       

BEGIN {
    ......#可选部分，在处理文件前执行的内容，如全局变量的声明等
}
{
    ......#必选部分，从文件的第一行到最后一行，每行都作为该部分的输入参数
}
END {
    ......#可选部分，关闭文件前执行
}

符号	含义	符号	含义
FS=","	以逗号分隔	IFS	指定输入分隔符
OFS	指定输出分隔符	NF	当前行分割后的列数
NR	当前行数	$0	当前整行
split()	拆分已分割后的列的函数	continue	继续执行循环，用于for或while中
next	不再处理当前行，改为处理下一行	exit	退出当前脚本

•  awk用法举例

            处理a.txt中的内容，要求汇总统计各字符后的数字的和，a.txt的内容如下：

a,2
b,3
a,1
c,4
b,4
d,1
c,1

            处理代码如下：a.awk

BEGIN{
    FS=",";
}
{
    a[$1] += $2;
}
END{
    for (i in a)
    {
        printf("key=%s, value=%d\n", i, a[i]);
    }
}

执行命令：awk -f a.awk a.txt后，得到
  

key=a, value=3
key=b, value=7
key=c, value=5
key=d, value=1