uniq的坑坑

时间:2023-03-09 02:15:43
uniq的坑坑

很久没有做过文本统计之类的操作了,今天有点任务弄一下,幸亏机智的我列出了全部看了一遍,发现uniq的时候还是有重复的,然后总结了一下

假如我有1.txt这个文本:

10.0.0.1
10.0.0.1
10.0.0.5
10.0.0.1

执行操作,cat 1.txt |uniq,得到的结果是:

10.0.0.1
10.0.0.5
10.0.0.1

uniq不是去重吗?为什么还是有重复的呢,当时一时半会儿也没想起来,后来把所有的数据列出来,对比发现规律了,只有对连续的重复的时候,才去重

也就是uniq只有对连续的重复的行去重,想要对所有的去重的话,就只有先用sort排序

cat test |sort|uniq
10.0.0.1
10.0.0.5

还有就是不能对自己太过于自信了,认为这几个操作很熟练了,就执行完不检查,直接给结果;做任何事情可以慢一点,去检查一下结果,要做到perfect