sed命令的基本使用方法

时间:2022-07-13 09:40:59

sed命令

stream editor,用程序的方式编辑文本。基本上是玩正则模式匹配。

用s命令替换

$ sed "s/my/Hao Chen's/g" pets.txt

  • 单引号去除所有字符的特殊意义,双引号保留某些字符的特殊意义

  • 默认是将处理过的内容输出,可以加-i参数直接修改原文件
    $ sed -i "s/my/Hao Chen's/g" pets.txt

  • 在每行的最前面加东西
    $ sed 's/^/#/g' pets.txt

  • 在每行的最后面加东西
    $ sed 's/$/ --- /g' pets.txt

  • 正则表达式基本

    ^ 一行的开头
    $ 一样的结尾
    \< 词首
    \> 词尾
    . 任意单个字符
    * 某个字符出现0次或多次
    [] 集合,[^]取反
  • 去除<>中的tags
    $ sed 's/<[^>]*>//g' html.txt

  • 只替换第3到6行
    $ sed "3,6s/my/your/g" pets.txt

  • 只替换第一个
    $ sed 's/s/S/1' my.txt

  • 只替换第3个以后的
    $ sed 's/s/S/3g' my.txt

  • &可以作为被匹配的变量
    $ sed 's/my/[&]/g' my.txt 给my加上[]

多个匹配

  • 分号分割
    sed '1,3s/my/your/g; 3,$s/This/That/g' my.txt 前3行一个操作,后面一个操作
  • -e参数
    sed -e '1,3s/my/your/g' -e '3,$s/This/That/g' my.txt

圆括号匹配

  • 圆括号内匹配的字符串可以当变量使用\1,\2
    $ sed 's/This is my \([^,&]*\),.*is \(.*\)/\1:\2/g' my.txt

sed多行匹配

sed -e ":begin; /<<</,/>>>/ { />>>/! { $! { N; b begin }; }; s/<<<.*>>>/COMMENT/; };" test

:begin;标记开头
/<<</,/>>>/ 表示后面的命令只处理<< <和> >>之间的部分,
后面的/>>>/! 表示如果当前行没有匹配到结束标记/>>>/
$代表文本的最后一行,$!表示如果当前不是最后一行
N 将下一行内容追加到缓冲区,相当于"合并"成一行
b begin 表示跳回begin处重新开始执行命令
s/<<<.*>>>/COMMENT/; 终于匹配成功,将<< <到> >>之间的内容替换为COMMENT

sed的命令

  • N命令:把偶数行的内容接到奇数行进行匹配,即两两合并,\n分隔
    $ sed 'N;s/\n/,/' pets.txt 连接两行,用逗号分隔
  • a命令和i命令:插入和追加
# 第一行前插入一行    
$ sed "1 i This is my monkey, my monkey's name is wukong" my.txt
#最后一行后追加一行    
$ sed "$ a This is my monkey, my monkey's name is wukong" my.txt
#匹配到/fish/后追加一行
$ sed "/fish/a This is my monkey, my monkey's name is wukong" my.txt
  • c命令:替换匹配行
$ sed "2 c This is my monkey, my monkey's name is wukong" my.txt
$ sed "/fish/c This is my monkey, my monkey's name is wukong" my.txt
  • d命令:删除匹配行
$ sed '/fish/d' my.txt
$ sed '2d' my.txt
$ sed '2,$d' my.txt
  • p命令:打印
# 默认会打印处理的信息
$ sed '/fish/p' my.txt
# -n参数只打印匹配的信息
$ sed -n '/fish/p' my.txt
# 打印从一个模式到另一个模式的信息
$ sed -n '/dog/,/fish/p' my.txt
#从第一行打印到匹配fish成功的那一行
$ sed -n '1,/fish/p' my.txt

知识点

  • pattern space

    sed处理文本的伪代码
    ​```
    对文件中每行数据
    {
        将一行数据放入pattern_space
        对每个pattern space执行sed命令
        如果没有指定-n则输出处理后的pattern space
    }
    ​```
  • Address
    [address[,address]][!]{cmd}

address可以是一个数字,也可以是一个模式

# 可以使用相对位置
$ sed '/dog/,+3s/^/# /g pets.txt'
  • 命令打包
    可以用分号分隔,也可以用大括号嵌套
# 第3到6行删除This的行
$ sed '3,6 {/This/d}' pets.txt
# 第3到6行匹配了This,再匹配fish,则删除
$ sed '3,6 {/This/{/fish/d}}' pets.txt
# 从第一行到最后一行,如果匹配到This,则删除之;如果前面有空格,则去除空格
$ sed '1,${/This/d;s/^ *//g}' pets.txt
  • Hold Space不同行操作之间保持状态

    g: hold space > pattern space中    
    G: hold space >> pattern space \n之后附加
    h: pattern space > hold space
    H: pattern space >> hold space \n之后附加
    x: 交换pattern space和hold space的内容

例如有如下文本

$ cat t.txt
one
two
three
$sed 'H;g' t.txt

one
 
one
two
 
one
two
three

分析

sed命令的基本使用方法

例子2(反序输出)

$ sed '1!G;h;$!d' t.txt
three
two
one

命令可以拆解为3个

  • 1!G--只有第一行不执行G,将hold space附加到pattern space
  • h--每一行都执行h,将pattern space覆盖hold space
  • $!d--最后一行不执行d,其余都清空pattern space

分析

sed命令的基本使用方法