Shell学习(五)—— awk命令详解

时间:2023-07-08 23:25:13

一、awk简介

  awk是一个非常好用的数据处理工具,相对于sed常常作用于一整个行的处理,awk则比较倾向于一行当中分成数个【字段】处理,因此,awk相当适合处理小型的数据数据处理。awk是一种报表生成器,就是对文件进行格式化处理的,这里的格式化不是文件系统的格式化,而是对文件内容进行各种“排版”,进而格式化显示;在linux中我们使用的是GNU awk简称gawk,并且gawk其实就是awk的链接文件,因此在系统上使用awk和gawk是一样的。

二、awk语法

语法格式:

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file[,file2,...,filen]

选项:

    [-F|-f|-v]   大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value
' ' 引用代码块
BEGIN 这里面放的是执行前的语句。初始化代码块,主要是引用全局变量,设置FS分隔符。
// 匹配代码块,可以是字符串或正则表达式
{} 这里面放的是处理每一行时要执行的语句。命令代码块,包含一条或多条命令,多条命令使用分号分隔
END 这里面放的是处理完所有的行后要执行的语句。结尾代码块,主要是进行最终计算或输出结尾摘要信息

举例:

cat ceshi.txt |awk -v FS: '{print $1,$3}'(每行按冒号分割,输出第一个域和第三个域;默认为空格分割;注意:awk后续动作都要以单引号引起来)
cat ceshi.txt |awk -v FS: '{print $1"XXXX"$3}'("XXXX"代表任意内容,必须用双引号引起来)

三、变量



1、内建变量

FS   输入字段分隔符,默认为空格
RS 输入的记录分隔符,默认为换行符(即文本是按一行一行输入)
OFS 输出字段分割符,默认为空格
ORS 输出的记录分隔符,默认为换行符(即处理结果也是一行一行输出到屏幕)
NF 当前行的字段的数量
print NF 显示当前行的字段数
print $NF 显示当前行的第NF字段的值
$0 表示整个当前行
$1 每行第一个字段
NR 每行的记录号,多文件记录递增
FNR 每个文件分别计数,显示行号。与NR类似,不过多文件记录不递增,每个文件都从1开始
FILENAME 当前文件名
ARGC 命令行参数的个数
ARGV 保存命令行所给定的各参数的数组 \t 制表符
\n 换行符
~ 匹配,与==相比不是精确比较
!~ 不匹配,不精确比较
== 等于,必须全部相等,精确比较
!= 不等于,精确比较
&&  逻辑与
|| 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字

2、自定义变量

(1)-v VALUE(变量名称区分大小写)在这里文件ceshi.txt中有多少行就显示多少行变量的值

awk -v fan="cool"  '{print fan}' ceshi.txt

(2)在代码块中自定义变量

awk 'BEGIN{FS=":";abc=1}{print $abc}' ceshi.txt

四、awk的输出

1、print & $0

  print 是awk打印指定内容的主要命令

举例:

awk '{print}'  /etc/passwd   ==   awk '{print $0}'  /etc/passwd
awk '{print " "}' /etc/passwd //不输出passwd的内容,而是输出相同个数的空行,进一步解释了awk是一行一行处理文本
awk '{print "a"}' /etc/passwd //输出相同个数的a行,一行只有一个a字母
awk -F":" '{print $1}' /etc/passwd
awk -F: '{print $1; print $2}' /etc/passwd //将每一行的前二个字段,分行输出,进一步理解一行一行处理文本
awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd //输出字段1,3,6,以制表符作为分隔符

2、格式化输出printf

语法 printf FORNAT,item1,item2

FORMAT必须提供;与print语句不同,printf不会自动换行,需要使用换行符\n

FORMAT中需要分别为后面的每个item指定一个格式符,否则item无法显示;

格式符介绍:

%c 显示字符的ASCII码
%d,%i 显示为十进制整数
%e,%E 科学技术法显示数值
%f 显示为浮点数
%g,%G 以科学技术法或浮点数格式显示数值
%s 显示为字符串
%u 显示无符号整数
%% 当需要显示%号时需要连续打两个百分号

举例说明:

cat ceshi.txt |awk -F: '{printf "%-10s%s\n",$1,$3}'

五、awk的操作符

算术操作符     如:A+B A-B A*B A/B
字符操作符 字符串链接
赋值操作符 如:-= += /= %=
比较操作符 如:> >= < <= ==
模式匹配操作符 ~ 是否能由右侧指定的模式所匹配 !~是否不能由右侧指定的模式所匹配
逻辑操作符 && 与运算 || 或运算
条件表达式 selector?if-true-expression:if-ials-expreion
函数调用 调用函数来进行数据的处理

举例:

通过df命令查看当前系统磁盘占用率,查出占用率大于等于百分之20的磁盘名称以及磁盘占用率
df|awk -v FS=% '$0 ~ "/dev/sd" {print $1}'|awk '$NF>=20 {printf "DevName:%-10s Used:%s%%\n",$1,$5}'
awk -v FS=: '{$3>=5?usertype="Big User":usertype="Small User";printf "UserName:%-15s Type:%s\n",$1,usertype}' ceshi.txt

六、awk的控制语句

参考博客:https://www.cnblogs.com/pigdragon/p/6473850.html

1、if语句

语法:if(condition){statements}[else {statement}]
举例:awk -F: '{if($3>=5){printf "%-10s%s\n",$1,$3}}' ceshi.txt

2、while语句

语法:while(condition){statements}
举例:echo {1..10} |awk '{n=1;while(n<=NF){if($n%2==0){print $n,"oushuo"}else {print $n,"jishu"};n++}}'

3、do-while语句

语法:do {statements} while (condition)
举例:echo {1..10} |awk '{n=1;do{if($n%2==0){print $n,"oushuo"}else {print $n,"jishu"};n++}while(n<=NF)}'

4、for语句

for循环有两种格式:
格式1:for(变量 in 数组){语句}
举例:awk 'BEGIN{ for(k in ENVIRON) {print k"="ENVIRON[k]; } }'
格式2:`for(变量;条件;表达式){语句}`
举例:`awk 'BEGIN{ total=0; for(i=0;i<=100;i++) {total+=i; } print total; }'`

5、退出循环

(1)break
(2)continue
(3)delete array
(4)exit
(5)next 提前结束对本行文本的处理,而提前进入下一行的处理操作
举例:
awk -F: '{if($3%2==0)next;print $1,$3}' ceshi.txt

七、awk的性能测试

实验:从1加到100等于多少?

(1)time (awk 'BEGIN{ total=0;for(i=0;i<=10000;i++){total+=i;}print total;}')

50005000
real 0m0.003s
user 0m0.003s
sys 0m0.000s

(2)time(total=0;for i in $(seq 10000);do total=$(($total+i));done;echo $total;)

50005000
real 0m0.141s
user 0m0.125s
sys 0m0.008s

实现相同功能,可以看到awk实现的性能是shell的50倍!

八、awk数组

数组是一个包含一系列元素的表

格式如下:

abc[1]="libai"
abc[2]="lihei"
abc为数组名,[1][2]为数组下标,可以认为是数组的第一个元素,第二个元素,"libai""lihei"是元素的内容

举例说明:

awk 'BEGIN{fan[0]="libai";fan[1]="lihei";print fan[0]}'
awk 'BEGIN{fan[0]="libai";fan[1]="lihei";print fan[1]}'
awk 'BEGIN{fan[0]="libai";fan[1]="lihei";for (i in fan)print i}'
awk -F: '{{fan[NR]=$1;}{print NR,fan[NR]}}' ceshi.txt

利用数组统计每个ip地址访问量(编辑一个文件,该文件存储ip地址)

awk '{array[$1]++} END {for(key in array) print array[key],key}' a|sort -r

关于array[$1]++

(1)awk在读取第一行的时候,会读取这个数组,此时的数组是这样的,array["第一行的内容"]++
(2)此时该数组的值还没有定义,但后面有运算符号++,所以awk会将数字0自动赋值给array["第一行的值"]做++运算,所以得到的值为1.
(3)在读到与array["第一行的内容"]相同的时候继续++运算,也就意味着,运算了多少次,就是出现了多少次。

九、awk函数

1、内键函数

(1)数值处理 rand() 返回0至1之间的一个随机数

awk 'BEGIN{print rand()}'

通过使用rand函数生成随机数,返回的值一直不变,所以我们需要配合srand函数

awk 'BEGIN{srand();print rand()}'

生成的随机数产生了变化,但生成的随机数都是小于1的小数,如果我们想要生成整数随机数,我们可以利用int整数函数截取整数部分的值

awk 'BEGIN{srand();print 100*rand()}'
awk 'BEGIN{srand();print int(100*rand())}'

(2)字符串函数

length([s]) 返回指定的字符串的长度

举例说明:

awk '{print $0 length()}' abc.txt (每一行全部字符长度)
awk '{for(i=1;i<=NF;i++){print $i,length($i)}}' abc.txt(指定字符长度)

gsub(r,s[,t])基于r所表示的模式来匹配字符串t中的内容,将其所有被匹配到的内容均替换为s所表示的字符串

举例说明:

awk '{gsub("h","H",$1);print $0}' abc.txt
awk '{gsub("h","H",$0);print $0}' abc.txt

sub(r,s[,t]) 基于r所表示的模式来匹配字符串t中的内容,将其第一次被匹配到的内容替换为s所表示的字符串

举例说明:

awk '{sub("h","H");print $0}' abc.txt(只替换指定范围第一次匹配到的符合条件的字符)

split(s,a[,r]) 以r为分隔符去切割字符串s,并将切割后的结果保存至a表示的数组中

举例说明:

awk -v aa="李大;李二;李三" 'BEGIN{split(aa,lishijiazu,";");for(i in lishijiazu){print lishijiazu[i]}}'
awk -v aa="cc;ff;dd;ee" 'BEGIN{split(aa,lishijiazu,";");for(i in lishijiazu){print lishijiazu[i]}}'
从上面我们发现数组元素输出顺序可能与字符串中字符的顺序不同,我们可以采用下面的办法
awk -v aa="cc;ff;dd;ee" 'BEGIN{ abc=split(aa,lishijiazu,";");for(i=1;i<=abc;i++){print i,lishijiazu[i]}}'

2、用户自定义函数

函数是程序的基本组成部分,awk允许我们定义自己的函数,一个大的程序可以分为多个函数并且每个函数可以独立测试

用户自定义函数的一般格式为:

function function_name(argument1,argument2,...)
{
function body
}

function_name是用户定义函数的名称,函数名称应以字符的字母并且其余部分可以是数字,字母或下划线的任意组合,awk的保留字不能用作函数名字;函数可以接受以逗号分隔的多个参数,参数不是强制性的,我们也可以创建一个用户定义的函数不带任何参数;函数体由一个或多个awk语句组成。

参考博客:

[1]linux awk命令详解

[2]linux中awk 详解