linux命令学习之:sed

时间:2022-05-08 05:53:10

  sed:Stream Editor文本流编辑,sed是一个“非交互式的”面向字符流的编辑器。能同时处理多个文件多行的内容,可以不对原文件改动,把整个文件输入到屏幕,可以把只匹配到模式的内容输入到屏幕上。还可以对原文件改动,但是不会再屏幕上返回结果。能够完美的配合正则表达式使用,功能不同凡响。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。

语法

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

选项(options)

-e<script>或--expression=<script>:以选项中的指定的script来处理输入的文本文件;
-f<script文件>或--file=<script文件>:以选项中指定的script文件来处理输入的文本文件;
-h或--help:显示帮助;
-n或--quiet或——silent:仅显示script处理后的结果;
-V或--version:显示版本信息。
-i:直接修改文件内容

Sed命令

a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除,删除选择的行。
D 删除模板块的第一行。
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容,并替代当前模板块中的文本。
G 获得内存缓冲区的内容,并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行,用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码。
p 打印模板块的行。
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
w file 写并追加模板块到file末尾。  
W file 写并追加模板块的第一行到file末尾。  
! 表示后面的命令对所有没有被选定的行发生作用。  
= 打印当前行号码。  
# 把注释扩展到下一个换行符以前。 

Sed替换标记

g 表示行内全面替换。  
p 表示打印行。  
w 表示把行写入一个文件。  
x 表示互换模板块中的文本和缓冲区中的文本。  
y 表示把一个字符翻译为另外的字符(但是不用于正则表达式)
\1 子串匹配标记
& 已匹配字符串标记

Sed元字符集

^ 匹配行开始,如:/^sed/匹配所有以sed开头的行。
$ 匹配行结束,如:/sed$/匹配所有以sed结尾的行。
. 匹配一个非换行符的任意字符,如:/s.d/匹配s后接一个任意字符,最后是d。
* 匹配0个或多个字符,如:/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[] 匹配一个指定范围内的字符,如/[ss]ed/匹配sed和Sed。  
[^] 匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。
\(..\) 匹配子串,保存匹配的字符,如s/\(love\)able/\1rs,loveable被替换成lovers。
& 保存搜索字符用来替换其他字符,如s/love/**&**/,love这成**love**。
\< 匹配单词的开始,如:/\<love/匹配包含以love开头的单词的行。
\> 匹配单词的结束,如/love\>/匹配包含以love结尾的单词的行。
x\{m\} 重复字符x,m次,如:/0\{5\}/匹配包含5个0的行。
x\{m,\} 重复字符x,至少m次,如:/0\{5,\}/匹配至少有5个0的行。
x\{m,n\} 重复字符x,至少m次,不多于n次,如:/0\{5,10\}/匹配5~10个0的行。

删除(d)

删除第x行
sed -e 'xd' inputfile
删除第x1,x2,x3行呢
sed -e 'x1d' -e 'x2d' -e 'x3d' inputfile
#删除第n行到第m行
sed -e 'n,md' file
#删除第一行到最后一行
sed -e '1,$d' file     #$ 最后一行和一行的最后
#删除含有字母xx的行
sed -e '/xx/d' file
#删除除含有字符串xx的所有行
sed -e '/xx/!d' file
#删除从含有单词word1到含有单词word2的行
sed -e '/word1/, /word2/d' file
#删除文件中从第10行到含有word1的行
sed -e '10,/word1/d' file
#删除从含有word1的行到第10行  
sed -e '/word1/,10/d' file
#删除含有两个t的行
sed -e '/t.*t/d' file   
#类似可删除含有指定正在表达式匹配的行。

替换(s、c)       

  Sed 可替换文件中的字串、资料行、甚至资料区。其中,表示替换字串的指令中的函数参数为s;表示替换资料行、或资料区>的指令中的函数参数为c。上述情况以下面三个例子说明。

#行的替换:
#把第一行替换成#!/bin/more
sed -e '1c/#!/bin/more' file 
#把第n行替换成just do it
sed -e 'nc/just do it' file
#把1到10行替换成一行:I can do it
sed -e '1,10c/I can do it' file 
#一行替换成两行(I can do it! Let's start)
sed -e '1,10c/I can do it!/nLet'"/'"'s start' file
#字符的替换:
#将每一行的word1单词替换成word2
sed -e 's/word1/word2/' file   #s参数最多与两个位置参数相结合
#函数参数s中有两个特殊的符号:
#& : 代表pattern
#/n : 代表 pattern 中被第 n 个 /( 、/)(参照[附录 A]) 所括起来的字串。例如
sed -e 's/w1/& w2/' file    # w1的地方输出 w1 w2
sed -e  's//(test/) /(my/) /(car/)/[/2 /3 /1]/' file   #结果: [my car test]
#flag 参数举例
sed -e 's/w1/& w2/g' file
#g : 代表替换所有匹配项目;这里,文件中所有字符串w1都会被替换成字串w1 w2
sed -e 's/w1/& w2/10' file
#m(10) : 替换行内第m个符合的字串; 记住,是行内的第m个匹配的字串
sed -e 's/w1/& w2/p' file
#p : 替换第一个和w1匹配的字符串为w1 w2,并输出到标准输出.
sed -e 's/w1/& w2/w w2file' file
#w filename : 该参数会将替换过的内容写入到文件w2file并输出替换后的整个文件。注意w2file里写的只是替换过的行。   
sed -e 's/w1/& w2/' file
#这里的flag 为空, 这样就只是将第一个w1匹配的字符串替换成w1 w2而后面的不进行替换。
#位置参数应用举例
sed -e '/machine/s/phi/beta/g' file
#将文件中含"machine"字串的资料行中的"phi"字串,替换成为"beta"字串
sed -e '1,10 s/w1/& w2/g' file
#把1到10内的w1字符串替换成w1 w2字符串。
sed -e '1,/else/ s/w1/& w2/g' file
#把1到字符串else内的w1字符串替换成w1 w2字符串。
echo sksksksksksk | sed 's/sk/SK/2g'
#从第N出开始替换skSKSKSKSKSK

内容的插入(a、i)

sed [address] i/ 插入内容 filename     #插入到所给内容的前面

  函数参数 s 表示替换(substitute)文件内字串。其指令格式如下 :

sed [address1[ ,address2]] s/pattern/replacemen/[flag] filename
sed -e '/#/i/words' file      #在#字符的前面插入一行words
#这里的函数参数是i,它只能有一个地址参数。
sed -e '1/i/words' file
#在第一行前加一行words
cat "word" | sed -e '/$/.doc/g'   #输出word.doc
#在word后面加上后缀名,从而输出word.doc
sed [address] a/ <插入内容> filename     #插入到所给内容的前面
sed -e '/unix/a/ haha' test.txt    #在含有unix的行后添加"haha"
#输出结果为:
    unix
    haha
sed -e '1 a/ hh' test.txt     #在第一行后添加hh字符.

文本的打印(p)

  基本格式:

sed [address1,[address2]] p filename
sed -e '/then/ p' filename  #打印所有行并重复打印含有then 的行
sed -n '/then/ p' filename  #只打印含有then的行
sed -e '1,3 p' filename     # 打印所有行并重复1-3行
sed -n '1,3 p' filename     # 打印1-3行
sed -n '/if/,/fi/ p' filename #打印字符if和fi之间的内容

  p函数为sed的打印函数,在这里要注意-e 和-n 参数的区别。一般使用-n参数。

字元的替换(y)

sed -e 'y/abc../xyz../' filename
#把文件中的a字母替换成x, b替换成y, c替换成z。
sed  -e 'y/abc/ABC' filename
#把小写的abc转换成大写的ABC

反相执行命令(!)

  基本格式:

sed [address1[ , address2]] ! 函数参数
sed -e '/1996/!d' filename
#删除除了含有1996的所有行。

 

读入下一行资料(n)

  基本格式:    

sed [address1[ ,address2]] n
 sed -n -e '/echo/n' -e 'p' temp
#表示输出文件,但如果一行含有字符串echo,则输出包含该字符串的下一行。
sed -n -e 'n' -e 'p' filename
#输出文中的偶数行
#或者:
sed -n 'p;n' test.txt  #奇数行
sed -n 'n;p' test.txt  #偶数行
sed -n '1~2p' test.txt  #奇数行
sed -n '2~2p' test.txt  #偶数行

命令的复用

  一次执行多个命令的方式有3种:

sed 's/w1/& w2/g; 1/i/words' filename   #(使用;号把命令隔开,注意前面不加-e参数)
sed -e 'cmd1' -e 'cmd2'  filename     #(使用多个-e参数)
sed 'cmd1' | sed 'cmd2'  filename    #使用|隔开命令

定界符

  以上命令中字符 / 在sed中作为定界符使用,也可以使用任意的定界符:

sed 's:test:TEXT:g'
sed 's|test|TEXT|g'

  定界符出现在样式内部时,需要进行转义:

sed 's/\/bin/\/usr\/local\/bin/g'

已匹配字符串标记(&)

  正则表达式 \w\+ 匹配每一个单词,使用 [&] 替换它,& 对应于之前所匹配到的单词:

echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]
#所有以192.
168.0.1开头的行都会被替换成它自已加localhost: sed 's/^192.168.0.1/&localhost/' file 192.168.0.1localhost

子串匹配标记(\1)  

  匹配给定样式的其中一部分:

echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
this is 7 in a number
#命令中 digit 7,被替换成了 7。样式匹配到的子串是 7,\(..\) 用于匹配子串,对于匹配到的第一个子串就标记为 \1,依此类推匹配到的第二个结果就是 \2,例如:

echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
BBB aaa
#love被标记为1,所有loveable会被替换成lovers,并打印出来:
sed -n 's/\(love\)able/\1rs/p' file

退出(q)

#打印完第10行后,退出sed
sed '10q' file

保持和获取(h、G)

  在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将 打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。

sed -e '/test/h' -e '$G' file

  在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。

保持和互换(h、x)  

互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。

sed -e '/test/h' -e '/check/x' file

sed正则中的元字符  

  我们知道sed中的命令前面可以使用地址范围进行限制,表示对文件的某些符合条件的行执行相应的操作,其中我们可以使用正则表达式选出要操作的行,而sed中正则的语法可能与我们其他命令的正则语法有一些不同,这里我们有必要列出sed中常用的正则元字符:

$ 表示行尾
^ 表示行首
[a-z0-9]表示字符范围
[^]表示除了字符集中的字符以外的字符
sed的正则中 \(\) 和 \{m,n\} 需要转义
. 表示任意字符
* 表示零个或者多个
\+ 一次或多次  
\? 零次或一次
\| 表示或语法

sed在文件中查询文本的方式

  1)使用行号,可以是一个简单数字,或是一个行号范围:

x

x为行号

x,y

表示行号从x到y

/pattern

查询包含模式的行

/pattern /pattern

查询包含两个模式的行

pattern/,x

在给定行号上查询包含模式的行

x,/pattern/

通过行号和模式查询匹配的行

x,y!

查询不包含指定行号x和y的行

  2)使用正则表达式、扩展正则表达式(必须结合-r选项)

^

锚点行首的符合条件的内容,用法格式"^pattern"

$

锚点行首的符合条件的内容,用法格式"pattern$"

^$

空白行

.

匹配任意单个字符

*

匹配紧挨在前面的字符任意次(0,1,多次)

.*

匹配任意长度的任意字符

\?

匹配紧挨在前面的字符0次或1次

\{m,n\}

匹配其前面的字符至少m次,至多n次

\{m,\}

匹配其前面的字符至少m次

\{m\}

精确匹配前面的m次\{0,n\}:0到n次

\<

锚点词首----相当于 \b,用法格式:\<pattern

\>

锚点词尾,用法格式:\>pattern

\<pattern\>

单词锚点

 

分组,用法格式:pattern,引用\1,\2

[]

匹配指定范围内的任意单个字符

[^]

匹配指定范围外的任意单个字符

[:digit:]

所有数字, 相当于0-9, [0-9]---> [[:digit:]]

[:lower:]

所有的小写字母

[:upper:]

所有的大写字母

[:alpha:]

所有的字母

[:alnum:]

相当于0-9a-zA-Z

[:space:]

空白字符

[:punct:]

所有标点符号

 

#######sed的匹配模式支持正则表达式#####################  
sed'5 q'/etc/passwd#打印前5行  
sed-n '/r*t/p'/etc/passwd#打印匹配r有0个或者多个,后接一个t字符的行  
sed-n '/.r.*/p'/etc/passwd#打印匹配有r的行并且r后面跟任意字符  
sed-n '/o*/p'/etc/passwd#打印o字符重复任意次  
sed-n '/o\{1,\}/p'/etc/passwd#打印o字重复出现一次以上  
sed-n '/o\{1,3\}/p'/etc/passwd#打印o字重复出现一次到三次之间以上