用Linux命令统计文件内容

时间:2021-02-15 16:28:56

 

近来用Cygwin中的Linux命令解决了很多Windows平台下的日常问题。比如下面要讨论的一个简单问题:统计文件中包含某段文件的行有多少。

 

1用Grep命令解决

grep "getPosPrice" 13_tp.log |cut -d "," -f 3 | grep"\"processState\":\"0\"" | wc -l

 

cut命令简介:

 

cut -d "," -f 3 13_tp.log

 

-d:按分隔符切割

-f:取第几列

 

2用Sed过滤行

 

Sed的强大在过滤行时体现的还不是很明显,在对行进行删除、替换、追加等操作时,Sed的优势体会的淋漓尽致。下面转载下另一篇文章中的例子,来一窥Sed强大之处。

 

举例:(假设我们有一文件名为ab)
     删除某行
     [root@localhost ruby] # sed'1d' ab             #删除第一行 
     [root@localhost ruby] # sed'$d' ab              #删除最后一行
     [root@localhost ruby] # sed'1,2d' ab           #删除第一行到第二行
     [root@localhost ruby] # sed'2,$d' ab           #删除第二行到最后一行

  显示某行
.    [root@localhost ruby] # sed -n '1p' ab           #显示第一行 
     [root@localhost ruby] # sed -n'$p' ab           #显示最后一行
     [root@localhost ruby] # sed -n'1,2p' ab        #显示第一行到第二行
     [root@localhost ruby] # sed -n'2,$p' ab        #显示第二行到最后一行

  使用模式进行查询
     [root@localhost ruby] # sed -n'/ruby/p' ab    #查询包括关键字ruby所在所有行
     [root@localhost ruby] # sed -n'/\$/p' ab        #查询包括关键字$所在所有行,使用反斜线\屏蔽特殊含义

  增加一行或多行字符串
     [root@localhost ruby]# cat ab
     Hello!
     ruby is me,welcome to my blog.
     end
     [root@localhost ruby] # sed '1adrink tea' ab  #第一行后增加字符串"drinktea"
     Hello!
     drink tea
     ruby is me,welcome to my blog. 
     end
     [root@localhost ruby] # sed'1,3a drink tea' ab #第一行到第三行后增加字符串"drink tea"
     Hello!
     drink tea
     ruby is me,welcome to my blog.
     drink tea
     end
     drink tea
     [root@localhost ruby] # sed '1adrink tea\nor coffee' ab   #第一行后增加多行,使用换行符\n
     Hello!
     drink tea
     or coffee
     ruby is me,welcome to my blog.
     end

  代替一行或多行
     [root@localhost ruby] # sed '1cHi'ab                #第一行代替为Hi
     Hi
     ruby is me,welcome to my blog.
     end
     [root@localhost ruby] # sed'1,2c Hi'ab             #第一行到第二行代替为Hi
     Hi
     end

  替换一行中的某部分
  格式:sed 's/要替换的字符串/新的字符串/g'   (要替换的字符串可以用正则表达式)
     [root@localhost ruby] # sed -n'/ruby/p' ab | sed 's/ruby/bird/g'    #替换ruby为bird
   [root@localhost ruby] # sed -n '/ruby/p'ab | sed 's/ruby//g'       #删除ruby

     插入
     [root@localhost ruby] # sed -i'$a bye' ab         #在文件ab中最后一行直接输入"bye"
     [root@localhost ruby]# cat ab
     Hello!
     ruby is me,welcome to my blog.
     end
     bye

 

3强大的Awk

通过-f参数可以达到cut命令的效果

 

awk –F “,” ‘{print $3}’ 13_tp.log

 

上面对文件行的过滤也都可以由awk来完成,甚至可以统计出现某段文字的行与未出现行的比例等各种复杂需求。

 

awk -F ","'BEGIN{s0=0;s1=0}{if($1 ~ "getPosPrice")

{if($3=="\"processState\":\"0\""){s0++}else{s1++}}}END{prints0,s1}' 13_tp.log

 

格式化后的结构如下:

awk -F "," 'BEGIN { s0=0;s1=0 } {

if ($1 ~"getPosPrice") {

if ($3=="\"processState\":\"0\"") {

s0++

}

else {

s1++

}

}

} END { print s0,s1 }' 13_tp.log

 

 

参考资料

 

linux之sed用法

http://www.cnblogs.com/dong008259/archive/2011/12/07/2279897.html