grep 和 sed:linux经常使用工具 & 基本正則表達式

时间:2023-03-08 23:30:58
grep 和 sed:linux经常使用工具 & 基本正則表達式

grep 见链接:http://www.cyberciti.biz/faq/grep-regular-expressions/

sed參考文章:http://www.thegeekstuff.com


sed工作原理

This is called as one execution cycle. Cycle continues till end of file/input is reached:

1. Read a entire line from stdin/file.

2. Removes any trailing newline.

3. Places the line, in its pattern buffer.

4. Modify the pattern buffer according to the supplied commands.

5. Print the pattern buffer to stdout.


sed使用语法:

sed [-nefri] [命令]

描写叙述:

-n :使用安静(silent)模式。在一般 sed 的使用方法中,全部来自 STDIN 的数据一般都会被列出到终端上。

但假设加上 -n 參数后。则仅仅有经过sed 特殊处理的那一行(或者动作)才会被列出来。

-e :直接在命令列模式上进行 sed 的动作编辑。

-f :直接将 sed 的动作写在一个文件内。 -f filename 则能够运行 filename 内的 sed 动作。

-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)

-i :直接改动读取的文件内容。而不是输出到终端。

匹配的的格式(行号,模式字符串):

ADDRESS(行号):

n : 匹配第几行

m,n : 从m到n行

m~n :从m行開始。每隔n行

'$' : 最后一行

PATTERN(字符串):

/sometext/ : 匹配有sometext字符串的行


sed -n 'ADDRESS'p filename  // print, e.g: sed -n '4'p text.txt。

'ADDRESSp',即将p放在单引號中也是能够的。或者将单引號换成双引號"ADDRESSp"也是一样,下同。
sed -n '/PATTERN/p' filename // e.g: sed -n '/aa/p' text.txt sed -n 'ADDRESS'd filename //delete,不会删除文件里的内容。仅仅是在标准输出中删除该行。 sed -n '/PATTERN/d' filename sed 'ADDRESS a\
some text' filename //append,在匹配行的下一行加入"some text",注意单引號
sed '/PATTERN/ a\
some text' filename sed 'ADDRESS i\
some text' filename // insert,在匹配行前插入一行
sed '/PATTERN/ i\
some text' filename sed 'ADDRESS c\
some text' filename // 替换匹配行
sed 'PATTERN c\
some text' filename sed -n 'ADDRESS'= filename //打印匹配的行号, 仅仅接受一个地址,假设打印多行使用{}括起来,例如以下
sed -n 'ADDRESS,/PATTERN/ {
=
p
}' filename

运行多条sed命令

sed -e: use multiple -e options to build up a script out of many parts。

-e option is optional for sed with single command. sed will execute the each set of command while processing input from the pattern buffer

-e script, --expression=script

    add the script to the commands to be executed

样例:

sed -e 's/foo/bar/' -e '/FOO/d'

解释:先用bar替换foo,然后再删除有字符串FOO的行


sed 正則表達式查找和替换

's' 命令应该是sed中最重要的命令,语法例如以下:

sed 'ADDRESSs/REGEXP/REPLACEMENT/FLAGS' filename
sed 'PATTERNs/REGEXP/REPLACEMENT/FLAGS' filename

样例:

sed '1s/aa/bb/' text.txt        //用bb替换aa。仅仅在aa第一次出现的地方进行替换
sed '2s/aa/bb/' text.txt //用bb替换aa,仅仅在aa第二次出现的地方进行替换
sed 's/aa/bb/g' text.txt //用bb替换aa。g(global )是全局替换的意思。不加g默认也是全局替换。
sed -n 's/aa/bb/gpw result.txt' text.txt //g全局替换,p打印,w将替换结果写到result.txt文件里 sed 's/...$//' text.txt //正則表達式匹配:将最后位置的前三个字符替换为空。即删除每行的最后三个字符。

基本正則表達式

. : 代表随意单个字符

演示样例: a.b : 表示acb/a*b/a b/a9b… 都能够但不能是accb/ab

[] : 指定范围内的单个字符

演示样例: a[c|d]b : 表示acb/adb 其它的都不能够

[^ ] : 取反。非指定范围内的单个字符

演示样例:a[^d]b : 表示除了adb 其它的acb/abb/a b…都能够

? : 反复前边的字符0次或1次

演示样例:a?b : 表示ab/aab 其它的都不能够

* : 反复前边的字符无限次

演示样例:a* : 表示a/aa/aaa/aaaa… 能够反复a无限次

.* : 随意长度的随意字符

演示样例:a.* : 表示a/ac/acc/a,b … 能够是a后边跟随意字符

\{m,n\} : 反复前边的字符至少m次,最多n次。必须加上反斜杠转义

演示样例:a{1,3} : 表示 a/aa/aaa 能够反复a最少1次最多3次

\{m,\} : 反复前边的字符至少m次,必须加上反斜杠转义

演示样例:a{2,} : 表示aa/aaa/aaaa… 能够反复a最少2次最多不限

\{0,n\} : 反复前边的字符最多n次,必须加上反斜杠转义

演示样例:a{0,3} : 表示 空/a/aa/aaa 能够反复a最多3次也能够不反复也就是空

\{m\} : 反复前边的字符精确匹配m次,必须加上反斜杠转义

演示样例:a{2} : 表示 aa 精确匹配反复a2次

^ : 行首匹配,必须出如今行首

演示样例:^a : 表示全部以a开头的行

$ : 行尾匹配。必须出如今行尾。注意词尾与行尾的差别

演示样例:a$ :表示全部以a结尾的行

^$ : 空白行

\< : 词首匹配。必须出如今词首

演示样例:\< a : 表示a/acv/abcc… 全部以a开头的单词

\> : 词尾匹配,必须出如今词尾,注意词尾与行尾的差别

演示样例:a> : 表示a/cda/cca/… 全部以a结尾的单词

\(\) : 分组字符,可用\1引用左数第一个(中包括的内容

演示样例: a\(abc\)\1 表示:aabcabc \1引用了()中的abc

[ :upper: ] : 单个随意大写字母,注意[]与:之间有个空格,下同

演示样例:a[:upper:] 表示:aA/aB/aC… a后边跟随意一个大些字母

[ :lower: ] : 单个随意小写字母

[ :space: ] : 单个空白字符

[^[ :space: ]] : 单个非空白字符

[ :digit: ] : 单个随意数字0-9

演示样例:a[:digit:]b 表示: a0b/a1b/a2b… a和b中间跟随意一个0-9的数字

[ :alpha: ] : 单个随意字母

[ :alnum: ] : 单个随意字母或数字

[:punct:] : 单个随意特殊符号

扩展正則表達式元字符:

扩展正則表達式简化了基本正则中的一个元字符。又添加了几个。

\{m,n\} → {m,n} : 使用方法与基本正则中的一样

演示样例:a{1,3} 表示: a/aa/aaa

\(\) → () : 使用方法与基本正则中的一样

演示样例:(abc)\1 表示:abcabc

+ : 匹配前边的字符一次或多次

演示样例:a+ 表示: a/aa/aaa/aaaa…

| 表示或

演示样例:(a|b)c 表示: ac/bc