Linux awk命令使用方法

时间:2024-01-08 08:13:56

awk是linux上非常好用的文本处理工具,常用于指定列的处理,包括获取指定列的内容、根据指定列匹配关系输出等文本处理。本文主要描述awk命令的基本语法、正则表达式与操作符的使用、常用内置变量的含义和使用方法、内置字符串函数的使用方法。

awk基本语法

awk [ -F 分隔符] [ -v 变量名=值 ] 'BEGING{语句} 条件类型1{动作1} 条件类型2{动作2}... END{语句}' 输入的文件

命令格式说明:

(1)awk命令格式由四部分组成。选项、BEGIN、END和带条件类型和动作的语句。这四个部分都是可选项,可省略任意部分。

(2)-F表示设置列分隔符,默认为空格。

(3)-v 表示初始化一个变量或者用于向awk命令传入外部变量值,shell编程中常用。

(4)条件类型可以是正则表达式、条件语句、复合语句以及行匹配范围等内容。条件类型为可选设置。如果设置条件,只处理匹配条件的行执行动作。如果未设置,awk命令则认为所有行都是匹配的,并执行动作语句。动作表示执行的命令,命令必须放在大括号{}内。

(5)必须了解这些符号。$0表示行,$1、$2、$3...$n分别表示第1列、第2列、第3列...第n列。awk命令经常会使用这些符号去做匹配、打印指定指定列等操作。

awk命令处理流程:

(1)执行BEGIN{} 语句块中的内容。BEGIN语句通常用户变量初始化、打印输出表格的表头。

(2)从文件或者stdin中读取一行。然后根据条件类型的匹配关系,判断是否需要执行后面的动作。直到做完所有的动作和条件类型。重复这个过程,直到文件所有行处理完成。

(3)执行END语句块中的内容。END语句块常用于分析汇总等统计信息,比如统计文件行数。

基本使用实例

下面我们通过一些基本的实例来直观了解下awk命令的各选项和条件类型、动作的基本用法,这些实例也是awk操作或者shell编程中最常见的几种用法。如下

(1)$0、$1、$2、$3...$n内容

echo "2017 12 20" | awk '{print "$0="$0,"$1="$1,"$2="$2,"$3="$3}' #输出$0=2017 12 20 $1=2017 $2=12 $3=20

从结果输出可以知道,$0表示整行内容,$1、$2表示执行列。print中分割字段的逗号","默认输出为空格。如果需要输出以逗号分隔可以用如下方式:

echo "2017 12 20" | awk '{print "$0="$0 "," "$1="$1 "," "$2="$2 "," "$3="$3}' #输出$0=2017 12 20,$1=2017,$2=12,$3=20

(2)利用-F选项指定分隔符获取匹配行的指定列。

echo "2017-12-20" | awk -F"-" '{print $1,$2,$3}' #获取第1、2、3列内容,输出2017 12 20

如果需要考虑多个分隔符的行处理情况呢,可以通过-F '[分隔符1 分隔符2]'设置。如下一行同时包含破折号"-"、反斜干分隔符"/",获取指定第1、2、3列内容。命令如下:

echo "2017-12/20" | awk -F"[-/]" '{print $1,$2,$3}' #输出2017 12 20

(3)向awk命令传入外部变量,常用于shell编程中。

var1=5
awk -v var=${var1} 'BEGIN{for(i=0;i<=var;i++)print i}' #输出0 1 2 3 4 5

(4)BEGIN使用方法

awk 'BEGIN{num=5;for(i=0;i<=num;i++)print i}'
awk 'BEGIN{print "Begin deal with files"}' #处理文件前打印提示信息

(5)使用END语句统计文件行数。举例如下:

awk 'END{print NR}' /etc/passwd

说明:NR表示文件已读取的行数,END语句块是在文本所有行处理后执行,所以打印NR数值就是文件行数。

awk中正则表达式与条件操作符

awk中正则表达式匹配操作中经常用到字符如下:

. * + ? $ | \ [] {} ()

条件操作符如下:

<(小于) <=(小于等于) ==(等于) >(大于) >=(大于等于) !=(不等于) ~(匹配正则表达式) !~(不匹配正则表达式)

其中<、>、<=等操作符用法比较简单,这里主要讲~(匹配正则表达式)、 !~(不匹配正则表达式)两个表达式的用法。

基本实例如下:

(1)打印第1个字段包含root字符串的行

awk -F":" '{if($1~/root/)print $0}' /etc/passwd #写法一
awk -F":" '$1~/root/{print $0}' /etc/passwd #写法二

(2)打印第1个字段不包含root字符串的行

awk -F":" '{if($1 !~ /root/)print $0}' /etc/passwd #写法一
awk -F":" '$1 !~ /root/{print $0}' /etc/passwd #写法二

(3)打印第1个字段等于root字符串的行

awk -F":" '{if($1 == "root")print $0}' /etc/passwd #写法一
awk -F":" '$1 == "root"{print $0}' /etc/passwd #写法二

(4)打印第1个字段不等于root字符串的行

awk -F":" '{if($1 != "root")print $0}' /etc/passwd #写法一
awk -F":" '$1 != "root"{print $0}' /etc/passwd #写法二

(5)打印用户ID小于500的用户

awk -F":" '{if($3<500)print $0}' /etc/passwd

(6)打印行首为oracle的行

awk -F":" '{if($1~/^oracle/)print $0}' /etc/passwd 

(7)打印匹配oracle或者root字符串的行

awk -F":" '{if($1~/(root|oracle)/)print $0}' /etc/passwd  #用正则表达式元字符|的方式
awk -F":" '{if($1~/root/ || $1~/oracle/)print $0}' /etc/passwd #用或||的方式

说明:竖线符"|"表示匹配竖线"|"两边模式之一。使用竖线符时,语句必须用圆括号()括起来。

(8)打印同时匹配oracle和root的行

awk -F":" '{if($1=="root" && $3=="0")print $0}' /etc/passwd

awk内置变量

awk的内置变量包括FS、NF、OFS、ORS、NR等内容,下面逐一列举其含义和用法。

(1)FS 表示用于设置列的分隔符,与-F选项功能相同。缺省情况下为空格。举例如下:

echo "2017-12-20" |awk 'BEGIN{FS="-"}{print $1,$2,$3}' #输出2017 12 20

(2)NF 表示一行记录列的总数。如果需要打印最后一列内容,举例如下:

echo "/usr/local/bin/python" | awk -F '/' '{print $NF}' #输出python

说明:NF常用于打印倒数指定列的内容。

如打印指定列到最后一列的内容,方法如下:

awk -F " "  '{for (i=4;i<=NF;i++)printf("%s ", $i);print ""}' file.txt

(3)OFS 表示指定输出字段分隔符,缺省为空格。举例如下:

echo "1990 09 09" | awk 'BEGIN{OFS="-"}{print $1,$2,$3}' #输出1990-09-09

(4)ORS 表示输出行记录的分隔符,默认为换行符(\n)。如果需要设置输出行的分隔符为#,可以如下表示:

echo -e "1990\n09\n09" | awk 'BEGIN{ORS="#"}{print $0}' #输出1990#09#09#

(5)NR 表示已读的记录数。如果需要打印文件行数,举例如下:

awk 'END{print NR}' /etc/passwd

(6)FILENAME 表示当前处理文件名。举例如下:

awk 'END{print FILENAME}' /etc/passwd

awk内置字符串函数

(1)length(string) 返回计算字符串string的长度。举例如下:

echo "Hello World" | awk '{print length($0)}' #输出11

(2)index(string,substr)  返回待查找字符substr在字符串string中的位置,其中substr必须用双引号将字符串括起来。举例如下:

echo "Hello World" | awk '{print index($0,"o")}' #输出5
awk 'BEGIN{print index("Hello World","o")}' #输出5

(3)match(string,regex)  检查正则表达式regex是否能够匹配字符串,如果匹配返回值为非0,如果未匹配,返回0。举例如下:

awk 'BEGIN{print match("Hello World",'o')}' #查找字符串o第一次出现的位置,输出1
echo "Hello World" | awk '{print match($0,'o')}' #同上,输出1
awk 'BEGIN{print match("Hello World",/[Oo]/)}' #查找字符串大写或小写o第一次出现的位置。输出5

(4)split(string,array,delimeter)  使用指定的分隔符delimeter分割字符串string,并将分割出的结果保存到arayr数组。split()函数返回值为数组长度。举例如下:

echo "123#456#789" | awk '{len=split($0,arr,"#");for(i=1;i<=len;i++)print arr[i]}' 

说明:通过获取到的数组长度,通过循环方式获取数组中的内容,其中数组下标是从1开始计算。更为简便的获取方法如下:

echo "123#456#789" | awk '{split($0,arr,"#");for(i in arr)print arr[i]}' 

(5)sub(regex,string)  表示用字符串string替换正则表达式regex匹配的内容。举例如下:

echo "Java:Python:Java:C" | awk 'sub(/Java/,"Ruby",$0)' #输出Ruby:Python:Java:C

(6)substr(string,pos) 获取字符串sting中从指定位置pos后的内容。举例如下

echo "Java:Python:C" | awk '{print substr($0,6)}' #输出Python:C

(7)substr(string,pos,n)  获取字符串string中从指定位置pos开始长度为n的内容

echo "Java:Python:C" | awk '{print substr($0,1,4)}' #输出Java

(8)gsub(regex,string) 表示使用字符串string替换正则表达式regex匹配的内容。举例如下:

echo "Java:Python:Java:C" | awk 'gsub(/Java/,"Ruby")' #输出Ruby:Python:Ruby:C

(9)gsub(regex,string,target) 表示在指定的范围内,使用字符串string替换正则表达式regex匹配的内容。举例如下:

echo "Learn Shell at 2013-08-08" | awk 'gsub(/-/,":",$4)' #输出Learn Shell at 2013:08:08

awk内置算术函数

这里主要介绍int()、srand()、rand()3个算术函数。

(1)int(x) 返回x的整数

awk 'BEGIN{i=3.1415926;print int(i)}' #输出3

(2)rand() 返回0~1的任意数字。

awk 'BEGIN{srand();num=rand();print num}' #输出0~1的任意值,每执行一次变化一次。

说明:如果不加上srand()函数,每次执行打印的值都相同。

awk内容打印(printf&print)

awk可以使用print和printf输出字符串。主要区别是printf可以自定义输出的模式,输出内容后不换行。print输出内容后会自动换行。

printf使用格式:

(1)printf([格式控制符],参数)

(2) printf [格式控制符],参数

格式(1)和(2)的区别就是带不带小括号。个人觉得带小括号更直观。毕竟是个函数。下面这说明一下printf格式控制符中的常用格式修饰符

常用格式:%d表示整数、%s表示字符串。

修饰符:破折号"-"表示左对齐、Width表示步长。

printf基本使用实例

(1)格式化输出字符串

$ echo -e "12345 678\n123456788 890" | awk '{printf("%-11d %-5d\n",$1,$2)}'
$ echo -e "12345 678\n123456788 890" | awk '{printf"%-11d %-5d\n",$1,$2}' #不带小括号

如果使用print函数的话,就可以自动换行了,不需要手工添加换行符。同样,print也是可以带小括号。

$ echo -e "12345 678\n123456788 890" | awk '{print $1,$2}'

(2)利用printf生成数据。使用方法如下

$ awk 'BEGIN{data_format="136%03d\n";for(i=0;i<=3;i++)printf(data_format,i)}'

小结

本文内容介绍了awk命令的基本语法和常用实例。awk具有强大的文本处理能力,掌握awk命令的基本内容可以完成工作上遇到的大部分问题。另外,awk构造大批量测试数据有非常高的效率。