grep----基于正则表达式查找满足条件的行
1、内容检索
获取行 grep pattern file
获取内容 grep -o pattern file
获取上下文grep -A -B -C pattern file
grep a file 查找包含a的行
grep -o "1$" file 获取包含1的行，且打印1
grep -o " [0-9]*1$ file 获取空格开头+多个数字+1结尾的字符内容
grep -B1 "2" file 取值除了包含当前行，还会取值当前行前一行的数据；
grep -E 选项可以用来扩展选项为正则表达式
2、文件检索
递归搜索 grep pattern -r dir/
展示匹配文件名 grep -H 111 dir/1
只展示匹配文件名 grep -1 111 /tmp/1
grep 111 -r 目录 查询目录下文件名为111的文件
3、范围约束
忽略带小写 grep -i pattern file
不显示匹配的行 grep -v pattern file
使用扩展正则表达式 grep -E pattern file
文件范围和目录范围约束 grep 111 -r /tmp/demo/ --include "11*"
4、进程检索
进程过滤场景比较特殊，需要注意
grep 本身会开启新进程，所以需要单独过滤掉grep进程
ps -ef | grep ssh
ps -ef | grep ssh |grep -v grep
awk----根据定位到的数据行处理其中的分段
1、基本语法
是linux下的一个命令，语言解析引擎；解析命令，直接进行执行；
具备完整的编程特性，比如执行命令，网络请求；
精通awk，是一个linux工作者的必备技能
语法awk 'pattern{action}' 匹配表达式、行为表达式 action 不写 默认为print
2、上下文变量
开始BEGIN 结束END -----初始化、汇总
行数NR -----
字段与字段数$1$2...$NFNF
整行$0
字段分隔符FS
输出数据的字段分隔符OFS
记录分隔符RS
输出字段的行分隔符ORS
3、字段变量用法
-F 参数指定字段分隔符，可以用|指定多个-多分隔符-F '<|>'
BEGIN{FS="_"}也可以表示分隔符
$0代表当前的记录
$1代表第一个字段
$N代表第N个字段
$NF代表最后一个字段
$(NF-1) 代表倒数第二个字段
4、pattern表达式
正则匹配
$1~/pattern/ ----字段匹配一个表达式
/pattern/ ----整行匹配
比较表达式
$2>2 $1 == "b"
awk '$1~/2/' 打印第一列中有2的行
5、正则匹配表达式案例
开始和结束 awk 'BEGIN{}END{}'
正则匹配
整行匹配 awk '/Running/'
字段匹配 awk '$2~/xxx/'
行数表达式
取第一行 awk 'NR==2'
去掉第一行 awk 'NR>1'
区间选择
awk '/aa/,/bb/'
awk '/1/,NR==2'
6、action行为表达式{action}
打印 {print $0}{print $2}
赋值 {$1='abc'}
处理函数
原始内容$0
更新后内容{$1=$1;print $0}
7、单行转多行
print 默认是换行符输出的
8、多行转为单行
9、计算平均数
设置变量total并初始化为0，以逗号为分隔符【字段分隔】，求第二列的总和，并输出总和除以行数
10、字典结构array【数组】
array 是稀疏矩阵，类似python的词典类型
统计多家机构的营业额
统计多级机头的营业额平均值
定义一个字典data，以第一列为为key，第三列为value进行累加，然后循环字典，打印key和value
定义两个字典 data 统计以第一列的key，第三列的总和 count 第一列的key 统计key出现的次数；在求对应的平均数
sed 定位并修改数据；注意：修改的不是源文件，只是修改了打印结果
1、基本语法
语法结构sed[addr]X[options] ----定位+表达式
-e 表达式
sed -n '2p' 打印第二行
sed 's#hello#word#' 修改
-i 直接修改源文件
-E 扩展表达式
-debug调试
2、正则表达式
行数与行数范围 20 30,35
正则匹配 /pattern/
区间匹配 //,//
打印第二行数据
打印第1行到第4行数据
匹配有a的行
3、action表达式
p打印，通常结合-n参数 sed -n '2p' ----使用频率较高
s查找替换：s/regexp/replacement/[flags] -----使用频率较高
d删除
a追加
c改变
i插入内容到匹配行之前
e执行命令
分组匹配与字段提取：sed 's#([0-9])|([a-z])#\1 \2 #'
4、行数操作
打印特定行 sed -n 2p
删除最后一行 sed '$d'
删除1到3行
5、S表达式
S表示替换
S后面的追加字符可以为任意字符
g表示全局匹配
& 表示匹配内容
：号前面加123
/符号可以被任意代替
把d替换为replaced
以3为结尾的，替换成100
6、反向引用
使用（）对数据分组
使用\1\2反向引用分组
在abd前面增加123
在abd后面增加123
将abd后面替换为123
