sed的用法

时间:2022-06-04 06:17:19

1、什么是sed

sed命令是一个流线式、非交互式编辑器,可以实现在vi等编辑器中一样的编辑效果。
 

2、sed的工作原理

模式空间(pattern space)
sed一次处理一行文本(或输入),并把输出送往屏幕或重定向到文件。
sed把当前处理的行存储在临时缓冲区中,称为模式空间。
一旦完成对模式空间中的行的处理,也就是执行完这一行中的sed命令,模式空间中的行就被送往屏幕(除非是删除行命令或者打印到打印机)。
行被处理完后,就被移出模式空间,程序接着读入下一行,处理、显示、移出......直到文件的最后一行处理完以后sed结束。
 
保持缓冲区(holding buffer)
h命令将模式空间中的行复制到一个叫保持缓冲区的特殊缓冲区中。
G命令将保持缓冲区中的行放回模式空间中,且追加到模式空间中已有行的末尾。
g命令将保持缓冲区中的行放回模式空间中,且替换模式空间中已有的行。
x命令互换模式空间和保持缓冲区的内容。
 
注意:保持缓冲区一次只能容纳一行。

3、定址

通过定址来判断哪一行希望被编辑。
可以通过数字、正则表达式或者二者结合的方式来定址。
在没有定址的情况下,sed处理输入文件的所有行。
$sed '1,3d' myfile
$sed -n '/John/p'

4、命令和选项

命令:
a\在当前行后面加入一行或者文本
i\在当前行前面插入一行
d从模式空间中删除匹配的行
p打印匹配模板的行
r file从file中读行
h拷贝模板块的内容到内存中的缓冲区
G命令将保持缓冲区中的行放回模式空间中,且追加到模式空间中已有行的末尾
g命令将保持缓冲区中的行放回模式空间中,且替换模式空间中已有的行
q退出sed
!表示后面的命令对所有没有被选定的行发生作用
s/re/string用string替换正则表达式re匹配的字符串
 
替换标记:
g行内全面替换
w写入文件
 
选项:
-e command允许多点编辑
--expression command允许多点编辑
-n取消默认输出
 

5、sed支持的特殊元字符

&保存搜索字符用来替换其他字符s/love/&/将love替换为love

6、sed脚本

就是一个包含sed命令清单的文件,好处是不必担心与shell命令行的交互问题,不需要引用sed命令来防止它被shell解释。
sed对于脚本中输入的命令非常挑剔,在命令的末尾不能有任何空白或者文本。
$sed -f script.sh datafile

7、实例

1)p命令
$sed -n '/north/p' datafile//-n和p命令一般一块使用,用来只打印匹配模板的行,取消默认打印模式空间中的所有行的行为
 
2)删除:d命令
$sed '3d' datafile//删除第3行
$sed '3,$' datafile//删除第3到最后一行
 
3)替换:s命令
$sed 's/west/north/g' datafile //如果没有g标志,则只替换第1个匹配的
$sed -n 's/west/north/gp' datafile //-n和p命令只打印发生替换的行
$sed 's/[0-9][0-9]$/&.5/' datafile//&表示替换字符串中被找到的部分
$sed -n 's/\(Mar\)got/\1ianne/p' datafile//标记
$sed 's#west#east#g'//s后面的字符是分隔搜索字符串和替换字符串的字符,默认是/,但在s命令情况下可以改变,无论什么字符紧跟着s命令被认为是新的分隔符。
 
4)选定行的范围:,
$sed -n '/west/,/east/p' datafile//打印west和east之间的行。如果west未找到,则不打印任何行;如果east未找到,则打印west到末尾的所有行。
$sed '/west/,/east/s/$/VAR*/' datafile
 
5)多点编辑:e命令
$sed -e '1,3d' -e 's/Hemenway/Jones/' datafile//多个命令是在同一行执行,命令的执行顺序影响命令的结果。
$sed --expression='s/TB/Tobias/' --expression='/north/d' datafile
 
6)从文件读入:r命令
$sed '/Suan/r newfile' datafile//从文件读入的内容显示在所有匹配行的后面
 
7)写入文件:w命令
$sed -n ''/north/w newfile' datafile//将模板匹配的行写入文件
 
8)追加命令:a命令
$sed -n '/^north/a\
----->The North Sales Distribute Has Moved<------------' datafile
 
$sed -n '/^north/a\
----->The North Sales Distribute Has Moved<------------\
----->The North Sales Distribute Has Moved<------------' datafile//追加多行,除了最后一行,每一行需要加\
 
9)插入:i命令
$sed -n '/^north/i\
----->The North Sales Distribute Has Moved<------------' datafile
 
$sed -n '/^north/i\
----->The North Sales Distribute Has Moved<------------\
----->The North Sales Distribute Has Moved<------------' datafile//在匹配行之前插入多行,除了最后一行,每一行需要加\
 
10)下一个:n命令
$sed '/eastern /{n; s/AM/Archie/; }' datafile
 
11)变形:y命令
$sed '1,3y/abcdefg/ABCDEFG/' datafile//将a-g变换为大写,定址部分可使用正则表达式
 
12)退出:q命令
$sed '5q' datafile//打印第5行之后退出
$sed '/Lewis/{ s/Lewis/Jooseph/;q }//{ }执行多个命令,分号分隔,可嵌套
 
13)保持和获取:h命令、G命令、g命令
$sed -e '/northeast/h' -e '$G' datafile//将含northeast的行追加到文件的最后一行
$sed -e '/WE/{h, d; }' -e '/CT/{G;}' datafile//将包含WE的行移动到包含CT的行的后面
$sed -e '/northeast/h' -e '$g' datafile//将含northeast的行替换文件的最后一行
 
14)保持和互换
$sed -e '/particia/h' -e '/Margot/x' datafile//包含Margot的行被包含particia的行替换了
 
15)其它实例
查找包含字符串的行
#sed -n '/^vmm_read_interval/p' log2.txt >avg2.txt                  //-n和/p命令一般配合使用,只打印找到的行
 
删除文件中的空行
#sed '/^$/d' file
 
针对已查找到的内容进行替换
#sed 's/^[1-9]/\n&/g' 2.srt>3.srt    //在以数字开头的行前加一个空行
#sed 's/[0-9][0-9]$/&.5/' datafile     //以两位数结尾行加.5
#sed 's/address/&#/g' /etc/network/interfaces       //在所有address后加#
#sed 's/:.*[0-9]$g'          将冒号以及冒号后的数字替换成空
注意:
1)&符号替换字符串中被找到的部分,不是指找到部分所在的整行
2)/g表示命令作用的范围为整行,即对一行中所有找到的内容执行相应动作,否则只针对第一次找到的内容
 
多点编辑
#sed -e 's/address/#&/' -e 's/netmask/#&/' -e 's/gateway/#&/g' -e 's/^##//g' $NET_CONFIG_FILE.bak >$NET_CONFIG_FILE 
//首先在所有address,netmask,gateway单词前加一个#,再针对以两个#开头的行中将两个#去掉,从前往后依次执行。
 
合并两行
1) 先将每一行的开头用一特殊的字符串标记,例如BBBB
2) 将需要合并的行的前一行末尾用一特殊的字符串标记,例如AAAA
3) 用tr删除所有回车换行符\n,则所有行合成一行。真正需要合并的行之间会存在AAAABBBB的标记,需要换行的地方有BBBB的标记
4) 将所有AAAABBBB替换成空
5) 将所有BBBB替换成‘\n   ’
具体程序如下:
sed '1,$s/^/BBBB/g' $1.1 >$1.2
sed '/[^。)?”!〗]$/s/$/AAAA/' $1.2 >$1.3
sed -n '1,$p' $1.3|tr -d '\n'>$1.4
sed 's/AAAABBBB//g' $1.4>$1.5
sed 's/BBBB/\n    /g' $1.5>$1.6
sed 's/AAAA//g' $1.6>$1.7
cp $1.7 $1.txt
echo "finished."
rm $1.[0-9]*
 
将中英文字幕文件分成中文和英文两个字幕文件
$sed '/^[0-9][0-9]:/{n;d}' 1.srt >2.srt
$sed '/^[0-9][0-9]:/{n;n;d}' 1.srt >3.srt
 

=-=-=-=-=
Powered by Blogilo