awk 的使用方法
我们知道 awk 的常用变量包括：
|
$0
|
当前记录（这个变量中存放着整个行的内容）
|
|
$1~$n
|
当前记录的第 n个字段，字段间由 FS 分隔
|
|
NF
|
当前记录中的字段个数，就是有多少列
|
|
FS
|
输入字段分隔符 默认是空格或 Tab
|
|
RS
|
输入的记录分隔符， 默认为换行符
|
|
OFS
|
输出字段分隔符， 默认也是空格
|
|
ORS
|
输出的记录分隔符，默认为换行符
|
|
NR
|
已经读出的记录数，就是行号，从 1 开始，如果有多个文件话，这个值也是不断累加中。
|
|
FNR
|
当前记录数，与 NR不同的是，这个值会是各个文件自己的行号
|
|
FILENAME
|
当前输入文件的名字
|
指定字段分隔符
awk -F ',' '{print $1}' access.log
或
awk 'BEGIN {FS=","} {print $1}' access.log
通常，对于每个输入行，awk都会执行代码块一次。然而，在许多编程情况中，可能需要在awk开始处理输入文件中的文本之前执行初始化代码。对于这种情况，awk 允许定义一个BEGIN块，以完成在开始处理输入文件之前的一些初始化工作。
awk还提供了另一个特殊块，叫作END块，在处理了输入文件中的所有行之后执行这个块；通常，END块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。
计算空白行的数量
BEGIN { x="" }
/^$/ { x=x+ }
END { print "I found " x " blank lines. :)" }
注意：awk中的变量都是按字符串形式存储的。如果变量包含有效数字字符串，就可以对它执行数学操作，awk会自动处理字符串到数字的转换步骤；
但如果某个特定变量不包含有效数字，awk在对数学表达式求值时会将该变量当作数字0处理。
echo "line\n"| awk 'BEGIN{i='a12b34'} {i=i+9; print i}' #
echo "line\n"| awk 'BEGIN{i='12b34'} {i=i+9; print i}' #
打印文件的行数
awk 'END{print NR}' access.log
打印第10行的内容
awk 'NR==10 {print $0} ' access.log
或者
awk '{if(NR==10) print $0}' access.log
注意：awk支持的关系运算符包括"=="、"<"、">"、"<="、">="和"!=" ；
打印第11～20行的内容
awk '(NR > 10 ) && (NR <= 20) {print}' access.log
注意：awk支持的布尔运算符包括"&&"和"||" ；
打印最后一行的最后一个字段
awk 'END {print $NF}' access.log
打印包含大于4个字段的行
awk 'NF>4 {print} ' access.log
注意：awk中，print和print $0 的作用一样；
打印最后一个字段大于4的行
awk '$NF>4 { print}' access.log
输出包含"Sep"的行数
awk '/Sep/ {sum+=1} END{print sum}' access.log
打印第1个字段能匹配"Sep"的行
awk '$1 ~/Sep/ {print}' access.log
注意：“~”和“!~”分别表示匹配与不匹配；
假设每行第2个字段为一个数字，查找值最大的行
awk '$2>max {max=$2; maxline=$0} END {print max,maxline}' access.log
打印每行的内容前，先输出该行包含的字段数
awk '{print NF, $0}' access.log
交换前两个字段的位置后，再打印
awk '{tmp=$1; $1=$2; $2=tmp; print}' access.log
将第一个字段换成行号后，再打印
awk '{$1=NR; print}' access.log
删除第一个字段后，再打印
awk '{$1=""; print}' access.log
将每行的字段逆序打印
awk '{ for(i=NF;i>0;i-=1)printf("%s", $i); printf("\n") }' access.log
注意：awk 也提供了break、continue来控制awk的循环结构；
若每行都是由若干个数字字段组成，对每行求和
awk '{sum=0;for(i=1;i<=NF;i=i+1) sum+=$i;print sum}' access.log
注意：awk支持完整的数学运算符 +, -, *, /, %（取模）, ^（指数）,++（自增），--（自减），复合赋值运算符（如+=, -=, *=, /=等）
若每行都是由若干个数字字段组成，对所有行的所有字段求和
awk '{for(i=1;i<=NF;i=i+1) sum=sum+$i} END{print sum}' access.log
若每行都是由若干个数字字段组成，将所有负数变成正数
awk '{for(i=1;i<=NF;i=i+1) if($i<0) $i=-$i;print}' access.log
数组功能
awk '{myarray[NR]=$1} END{for(i=1;i<=NR;i++)print myarray[i]}' access.log |less
注意：awk中数组下标从1开始；
awk 内置函数
算术函数
| 函数名 | 说明 |
| atan2( y, x ) | 返回 y/x 的反正切。 |
| cos( x ) | 返回 x 的余弦；x 是弧度。 |
| sin( x ) | 返回 x 的正弦；x 是弧度。 |
| exp( x ) | 返回 x 幂函数。 |
| log( x ) | 返回 x 的自然对数。 |
| sqrt( x ) | 返回 x 平方根。 |
| int( x ) | 返回 x 的截断至整数的值。 |
| rand( ) | 返回任意数字 n，其中 0 <= n < 1。 |
| srand( [Expr] ) | 将 rand 函数的种子值设置为 Expr 参数的值，或如果省略 Expr 参数则使用某天的时间。返回先前的种子值。 |
数学计算
awk 'BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}'
获取随机数
awk 'BEGIN{srand();fr=rand();print fr;}'
awk 'BEGIN{srand();fr=int(100*rand());print fr;}'
字符串函数
| 函数 | 说明 |
| gsub( Ere, Repl, [ In ] ) | 除了正则表达式所有具体值被替代这点，它和 sub 函数完全一样地执行，。 |
| sub( Ere, Repl, [ In ] ) | 用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值。sub 函数返回替换的数量。出现在 Repl 参数指定的字符串中的 &（和符号）由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换。如果未指定 In 参数，缺省值是整个记录（$0 记录变量）。 |
| index( String1, String2 ) | 在由 String1 参数指定的字符串（其中有出现 String2 指定的参数）中，返回位置，从 1 开始编号。如果 String2 参数不在 String1 参数中出现，则返回 0（零）。 |
| length [(String)] | 返回 String 参数指定的字符串的长度（字符形式）。如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）。 |
| blength [(String)] | 返回 String 参数指定的字符串的长度（以字节为单位）。如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）。 |
| substr( String, M, [ N ] ) | 返回具有 N 参数指定的字符数量子串。子串从 String 参数指定的字符串取得，其字符以 M 参数指定的位置开始。M 参数指定为将 String 参数中的第一个字符作为编号 1。如果未指定 N 参数，则子串的长度将是 M 参数指定的位置到 String 参数的末尾 的长度。 |
| match( String, Ere ) | 在 String 参数指定的字符串（Ere 参数指定的扩展正则表达式出现在其中）中返回位置（字符形式），从 1 开始编号，或如果 Ere 参数不出现，则返回 0（零）。RSTART 特殊变量设置为返回值。RLENGTH 特殊变量设置为匹配的字符串的长度，或如果未找到任何匹配，则设置为 -1（负一）。 |
| split( String, A, [Ere] ) | 将 String 参数指定的参数分割为数组元素 A[1], A[2], . . ., A[n]，并返回 n 变量的值。此分隔可以通过 Ere 参数指定的扩展正则表达式进行，或用当前字段分隔符（FS 特殊变量）来进行（如果没有给出 Ere 参数）。除非上下文指明特定的元素还应具有一个数字值，否则 A 数组中的元素用字符串值来创建。 |
| tolower( String ) | 返回 String 参数指定的字符串，字符串中每个大写字符将更改为小写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。 |
| toupper( String ) | 返回 String 参数指定的字符串，字符串中每个小写字符将更改为大写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。 |
| sprintf(Format, Expr, Expr, . . . ) | 根据 Format 参数指定的 printf 子例程格式字符串来格式化 Expr 参数指定的表达式并返回最后生成的字符串。 |
打印长度大于80个字符的行
awk 'length($0)>80 {print $0} ' access.log
字符串分割
echo "12:34:56" | awk '{split($0,a,":");print a[1],a[2],a[3]}'
一般函数
| 函数 | 说明 |
| close( Expression ) | 用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道。如果文件或管道成功关闭，则返回 0；其它情况下返回非零值。如果打算写一个文件，并稍后在同一个程序中读取文件，则 close 语句是必需的。 |
| system(Command ) | 执行 Command 参数指定的命令，并返回退出状态。等同于system 子例程。 |
| Expression | getline [ Variable ] | 从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录，并将该记录的值指定给 Variable 参数指定的变量。如果当前未打开将 Expression 参数的值作为其命令名称的流，则创建流。创建的流等同于调用 popen 子例程，此时 Command 参数取 Expression 参数的值且 Mode 参数设置为一个是 r 的值。只要流保留打开且 Expression 参数求得同一个字符串，则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。 |
| getline [ Variable ] < Expression | 从 Expression 参数指定的文件读取输入的下一个记录，并将 Variable 参数指定的变量设置为该记录的值。只要流保留打开且 Expression 参数对同一个字符串求值，则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。 |
| getline [ Variable ] | 将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定 Variable 参数，则 $0 记录变量设置为该记录的值，还将设置 NF、NR 和 FNR 特殊变量。 |