那些年我用awk时踩过的坑——awk使用注意事项

时间:2021-12-08 18:03:08

由于项目经历原因,经常使用awk处理一些文本数据。甚至,我特意下载了一个windows上的awk:gawk.exe,这样在windows上也能享受awk处理数据的方便性,。

俗话说,“常在河边走,哪能不湿鞋”,使用awk过程中碰上过不少坑,这里稍总结一下,希望对大家有帮助。

1 FS问题
看看这两个awk脚本:

cat demo_1.txt demo_2.txt
||||
|@||@||@||@|
awk -F '|' '{print $2}' demo_1.txt; # 脚本1
awk -F '|@|' '{print $2}' demo_2.txt; # 脚本2

脚本原目的是达到的目的是分别按'|'和分隔'|@|',输出demo.txt第二列。但实际上,第一个脚本这样写没错,但第二个脚本却是错的。

为什么呢?

因为竖线在正则表达式中是一个特殊字符,表示匹配竖线左右的字符组之一。如果想使用竖线本身,需要对用转义符。

但为什么第一个命令也一样使用了竖线却没有问题呢?

这就涉及到awk在一个规定:

如果FS设置了不止一个字符作为字段分隔符,将作为一个正则表达式来解释,否则直接按该字符做为分隔符对每行进行分割。

所以第一个命令使用了竖线做分隔符没问题,第二个命令就出错了。

2 正则表达式与反斜杠号问题
继续上面的问题讨论,如果demo.txt是按"|@|"做为分隔符的,要输出demo.txt第二列,正确的答案应该是怎么写呢?
答案是:

awk -F '\\|@\\|' '{print $2}' demo.txt;

注意这里,FS的值是'\\|@\\|',而不是简单的'\|@\|'(这样写会报错,提示:awk: 警告: 转义序列“\|”被当作单纯的“|”)。为啥要这样写呢?

先来看一个试验:

echo|awk -F '|@|' '{print FS}' # 脚本1
echo|awk -F '\|@\|' '{print FS}' # 脚本2
echo|awk -F '\\|@\\|' '{print FS}' # 脚本3

可以看到第一和第二个脚本,FS值是一样的。原因是awk先要解析用户输入的字符串,并将解析结果赋值给FS,然后再调用split类函数,把FS当成函数参数传进去。

而split需要再对FS进行一次解析,编译成正则表达式。awk解析字符串给FS变量赋值时会把'\|'认为是'|',从而导致传进split函数时,分隔符已。

因此,如果想让awk正确分割记录,需要使FS='\\|@\\|',这时awk会把\\解析成转义字符'\',这样竖线就能被当普通字符处理国。

3 关联数组访问问题

曾经碰上过这样一个场景:文件a.txt包含少量用户余额(userid|amt),约100行记录,文件b.txt包含了所有用户的余额(userid|amt),约有100万行记录。

现在要求关连a.txt和b.txt(使用userid),找出在a.txt与b.txt都存在的userid,并输出其中b.amt大于a.amt的记录。

当时我先写了以下脚本:

awk -F '|' 'BEGIN{ while(getline < "a.txt") { v_user_map[$1] = $2; } }
{
v_amt_a = v_user_map[$];
if ((v_amt_a != "") && v_amt_a < $) print $;
}

看起来逻辑似乎没有问题,于是开始跑。但是跑起来发现效率远比自己想象的低,而且发现程序运行过程消耗的内存越来越多。

这明显是有问题的,理论上应该是BEGIN那段语句会消耗一些内存,之后应该就不需要再消耗才对。

由于写过c++代码,里面也有类似关联数组的数据结构,我很快猜测并实验证明原因:v_amt_a = v_user_map[$1]; 这一句。

虽然这里没有给v_user_map[$1]赋值,但是awk会默认赋值为空,导致v_user_map数组元素越来越多,占用内存空间越来越大,查找效率越来越低。

知道问题就好解决了,查了一下awk帮助手册,发现可以这样写:

awk -F '|' 'BEGIN{ while(getline < "a.txt") { v_user_map[$1] = $2; } }
{
if ($ in v_user_map) { if (v_user_map[$] < $) print $; }
}

使用in操作符来判断元素是否在关联数组里面,这样就不会有默认赋值。

4 内存限制问题

如果awk是32位程序(可以使用file命令判断),那么上面的脚本1,很可能跑着跑着就core了。因为默认情况下,32位的awk最多只能消耗256M内存。

如果申请内存超过这个数就会发生异常退出。

解决方法是使用64位程序,或者修改环境变量“export LDR_CNTRL=MAXDATA=0x80000000”。(AIX4.3以上有效)

5 getline返回值问题

注意楼上的getline用法,while(getline < "a.txt")循环读取文件直到结束。这样写其实是不太规范的,有隐患。

曾经我以为getline读到文件尾会把$0置空,后来实践发现实际不是这样的。geline在碰上文件尾时会返回0,但$0还是保持最后一行的记录不变。于是就改成这种写法。

不过这种写法,有时也会碰上问题,原因:getline返回值有三种情况:1 正常读取到一条记录 0 达到文件尾 -1 文件不存在或其它错误。

如果a.txt不存在,getline会返回-1,导致死循环。我以前曾经碰上过因为这个原因导致程序挂死,所以特别提出来让大家注意。

建议大家使用函数前最好先看看帮助文档里面关于函数描述。

6 管道问题

先来看这个脚本:

ls -1rt
demo.txt
list.txt
echo -e "\n\n" | awk '{ while("ls -1rt" | getline) { print NR " : " $0 > "list.txt";}}'

猜猜看:脚本运行完后list.txt里面的内容是什么?

答案:

cat list.txt
: demo.txt
: list.txt

相信有不少朋友会觉得诧异:

有些人会认为list.txt里面应该只有一行数据,就是ls -1rt命令输出内容的最后一行。

有些人会认为应该有6条数据才对,因为ls -1rt执行了三次。

有这种想法的人,多半是不知道awk一个规定: 默认情况下同一个文件或者管道只打开一次,如果需要重复打开,需要先close。

上面的脚本由于没有显式close文件和管道,list.txt和ls -1rt都只打开/执行了一次,所以输出结果如上。

再猜猜看:下面这个脚本运行完后list.txt里面的内容是什么?

echo -e "\n\n" | awk '{ while("ls -1rt" | getline) { print NR " : " $0 > "list.txt";} close("list.txt"); close("ls -1rt");}'

7 输出单引号问题

大家知道,awk脚本一般是用单引号括起来的,形如:awk '{ print "do something"; }' 。

因此,在awk中要使用单引号是比较麻烦的事情。网上找awk输出单引号一般可以找到以下方法:

echo | awk '{ print "'\''"; }' 

很多人因此就误会了,以为awk脚本由于使用了单引号做为脚本开始结束标志,所以在awk脚本里面是不能直接使用单引号的。

其实这是误会了,看下面的脚本你就知道。

cat demo.awk
{ print "'"; }
echo | awk -f demo.awk
'

可见,awk脚本是可以直接使用单引号的,也不需要使用单引号把脚本括起来。 之所以在命令行需要用这么别扭的写法,是因为shell的关系:使用单引号括起来的内容,不会被shell当成特殊字符处理。

因为awk脚本里面经常需要$n来获取第几个字段的内容,而$在shell里面是有特殊意义的,代表变量开始。 如果不用单引号括起来,就会出问题。

'{ print "'\''"; }' 这段可以这样理解:脚本分三段

、 '{ print "' ;

、 \';

、 '"; }';

每段被shell解析后是这样的

、 { print " ;

、 ';

、 "; } ;

三段合起来就是传给awk的脚本内容:{ print "'"; }。理解了这个之后,在windows使用awk碰上以下问题,你就知道怎么解决了:

C:\Users\hch>awk '{print "";}'
awk: '{print
awk: ^ invalid char ''' in expression

8 自动隐式转换问题

在c语言里面,我们习惯了整数相除,结果还是整数。所以5/2结果是2,不是2.5。

而在awk里面,由于没有明确指定变量类型,所以在变量计算过程经常会发现隐式转换,整数相除结果可能是小数。
举例:

echo | awk '{v_result = 5 / 2; print v_result}'
2.5

如果我们想要实现c语言的整数相除效果,要怎么办呢? 可以使用int函数,如下:

echo | awk '{v_result = int(5 / 2); print v_result}'

9 中文竖线问题

实际工作中,经常碰上文件中每行记录里面用竖线'|'做为分隔符的,如"a|b|c|d"。如果文件里面没有中文,这样做是没问题的。

但如果有中文,特别是gbk编码在中文时,这样做就容易出问题了。

gbk编码中,中文由两个字节组成,第一个字节取值范围是[128, 256),第二个字节取值范围是[0, 256)。

如果第二个字节值正好是'124',也就是'|'字符的asscii码,awk处理时就会误以为这个字节是分隔符,从而导致分割字符串时出现错乱。

那有哪些中文是这样的呢? 可以用以下脚本输出gbk编码中包含竖线的特殊中文:(其它编码类似)

echo|awk '{for(i = 128; i < 256; i++) { printf("%c| ", i); } }' #终端编码要是GBK
€| 亅 倈 億 剕 厊 唡 噟 坾 墊 妡 媩 寍 峾 巪 弢 恷 憒 抾 搢 攟 晐 東 梶 榺 檤 殀 泑 渱 潀 瀨 焲 爘        ▅ ﹟ 獆 珅 瑋 瓅 畖 瘄 皘 眧 瞸 硘 磡 祙 秥 穦 竱 箌 簗 粅 紎 絴 緗 縷 纜 羭 聕 脇 膢 舼 苵 莬 葇 蓔 蕓 藎 蘾 蛗 蝲 蟶 衸 褆 襹 觸 詜 諀 謡 讄 貄 質 趞 踻 軀 輡 迀 遼 鄚 醸 鈢 銃 鋦 鍇 鎩 鐋 鑭 閨 陓 雦 靯 韡 顋 飢 饇 駖 騶 髚 魘 鮸 鰘 鱸 鴟 鵿 鷟 鹼 鼃 齶 

碰上这种情况暂时我没有发现太好的处理方法,建议使用比较长的分隔符,减少碰上问题的概率,如'|@|'。

如果分隔符不可变,那可以考虑使用iconv转换编码,处理完后再转换回来。

10 函数名与变量名冲突

awk内置了很多函数,如果不小心把变量名字取得跟这些函数名字一样,程序就会报错。提示很不清楚,就只是说错了,不说原因,特别坑。
例如以下这个报错:

awk '{ if (NR == FNR) { sub[$1] = $2; } else { print sub[$1]; } }' subsid_amt.txt subsid.txt
awk: { if (NR == FNR) { sub[$] = $; } else { print sub[$]; } }
awk: ^ syntax error

由于这个脚本是晚上加班到深夜时写的,当时头脑不清醒,看到报错蒙了好久:怎么看语法都是对的,但是运行却总是提示语法错了。
所以现在我写比较复杂的awk脚本,变量名都习惯前面加上v_后缀,这样可以减少名字冲突的概率。

暂时就总结了这些。如果大家也碰上过使用awk的问题,不妨一起发出来讨论一下吧:)