awk-笔记

时间:2023-12-20 15:43:20

语法形式:

awk [options] 'script' var=value file1 [file...]
awk [options] -f scriptfile var=value file [file...]

常用命令选项:

-F指定分隔符,可以是字符串或正则表达式
-v自定义一个变量,并传递给awk,如:awk -v myname='zhaoyingnan' '{print myname}' f1
-f从脚本文件中获取命令,如:awk -v myname='zhaoyingnan' -f 1.awk f1

模式:

/正则表达式/:使用通配符的扩展集
关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试
模式匹配表达式:用运算符~(匹配)和~!(不匹配)
BEGIN语句块、pattern语句块、END语句块

工作原理:

第一步:执行BEGIN{ commands }语句块中的语句
第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ commands }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕
第三步:当读至输入流末尾时,执行END{ commands }语句块
BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分,它也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块
例:
awk -v myname='zhaoyingnan' 'BEGIN{print "Hello";}{print myname;}END{print "Bye";}' f1

预定义变量:

$n当前记录的第n个字段
$0当前行的文本内容
FILENAME当前输入文件的名
FS字段分隔符(默认是任何空格)
RS记录分隔符(默认是一个换行符)
NF表示字段数,当前行的字段数
NR表示记录数,当前的行号
FNR表示记录数,若只读一个文件,等同NR,但多个文件时,总会在读取文件开始被重置为1,但NR则不会
OFS输出字段分隔符(默认值是一个空格)
ORS输出记录分隔符(默认值是一个换行符)
ENVIRON环境变量关联数组
ERRNO最后一个系统错误的描述
ARGC命令行参数的数目
ARGV包含命令行参数的数组
ARGIND命令行中当前文件的位置(从0开始算)
CONVFMT数字转换格式(默认值为%.6g)
FIELDWIDTHS字段宽度列表(用空格键分隔)
IGNORECASE如果为真,则进行忽略大小写的匹配
OFMT数字的输出格式(默认值是%.6g)
RSTART由match函数所匹配的字符串的第一个位置
RLENGTH由match函数所匹配的字符串的长度
SUBSEP数组下标分隔符(默认值是34)

运算符优先级:

awk-笔记

流程控制:

if(表达式){ 语句1; }else if(表达式){ 语句2; }else{ 语句3; }
while(表达式){ 语句; }
for(变量 in 数组){ 语句; }
for(变量;条件;表达式){ 语句; }
do{ 语句; } while(条件)
break 当 break 语句用于 while 或 for 语句时,导致退出程序循环
continue 当 continue 语句用于 while 或 for 语句时,使程序循环移动到下一个迭代
next 能能够导致读入下一个输入行,并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程
exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则,或在END中应用exit语句,则终止脚本的执行

数组:

数组定义,获取长度和输出:gawk 'BEGIN{ array[1]="zhangsan";array[2]="lisi";array["first"]="www";print "array length is "length(array); }{ for(i in array){ print array[i]; } }' f1
判断数组的key是否存在,存在则删除:gawk 'BEGIN{ array["fruit"]="apple"; }{ if("fruit" in array){ print array["fruit"]; delete array["fruit"]; }else{ print "no found"; } }END{ print length(array); }' 

内置函数:

  • 算数函数:
atan2( y, x ) 返回 y/x 的反正切
cos( x ) 返回 x 的余弦;x 是弧度
sin( x ) 返回 x 的正弦;x 是弧度
exp( x ) 返回 x 幂函数
log( x ) 返回 x 的自然对数
sqrt( x ) 返回 x 平方根
int( x ) 返回 x 的截断至整数的值
rand( ) 返回任意数字 n,其中 0 <= n < 1
srand( [expr] ) 将 rand 函数的种子值设置为 Expr 参数的值,或如果省略 Expr 参数则使用某天的时间返回先前的种子值
  • 字符串函数:
gsub( Ere, Repl, [ In ] ) 除了正则表达式所有具体值被替代这点,它和 sub 函数完全一样地执行
sub( Ere, Repl, [ In ] ) 用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值 sub 函数返回替换的数量 出现在 Repl 参数指定的字符串中的 &(和符号)由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换 如果未指定 In 参数,缺省值是整个记录($0 记录变量)
index( String1, String2 ) 在由 String1 参数指定的字符串(其中有出现 String2 指定的参数)中,返回位置,从 1 开始编号 如果 String2 参数不在 String1 参数中出现,则返回 0(零)
length [(String)] 返回 String 参数指定的字符串的长度(字符形式) 如果未给出 String 参数,则返回整个记录的长度($0 记录变量)
blength [(String)] 返回 String 参数指定的字符串的长度(以字节为单位) 如果未给出 String 参数,则返回整个记录的长度($0 记录变量)
substr( String, M, [ N ] ) 返回具有 N 参数指定的字符数量子串 子串从 String 参数指定的字符串取得,其字符以 M 参数指定的位置开始 M 参数指定为将 String 参数中的第一个字符作为编号 1 如果未指定 N 参数,则子串的长度将是 M 参数指定的位置到 String 参数的末尾 的长度
match( String, Ere ) 在 String 参数指定的字符串(Ere 参数指定的扩展正则表达式出现在其中)中返回位置(字符形式),从 1 开始编号,或如果 Ere 参数不出现,则返回 0(零)
RLENGTH 特殊变量设置为匹配的字符串的长度,或如果未找到任何匹配,则设置为 -1(负一)
split( String, A, [Ere] ) 将 String 参数指定的参数分割为数组元素 A[1], A[2], . . ., A[n],并返回 n 变量的值 此分隔可以通过 Ere 参数指定的扩展正则表达式进行,或用当前字段分隔符(FS 特殊变量)来进行(如果没有给出 Ere 参数) 除非上下文指明特定的元素还应具有一个数字值,否则 A 数组中的元素用字符串值来创建
tolower( String ) 返回 String 参数指定的字符串,字符串中每个大写字符将更改为小写 大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义
toupper( String ) 返回 String 参数指定的字符串,字符串中每个小写字符将更改为大写 大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义
sprintf(Format, Expr, Expr, . . . ) 根据 Format 参数指定的 printf 子例程格式字符串来格式化 Expr 参数指定的表达式并返回最后生成的字符串
  • 其他函数:
close( Expression ) 用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道 如果文件或管道成功关闭,则返回 0;其它情况下返回非零值 如果打算写一个文件,并稍后在同一个程序中读取文件,则 close 语句是必需的
system(command ) 执行 Command 参数指定的命令,并返回退出状态 等同于 system 子例程
Expression | getline [ Variable ] 从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录,并将该记录的值指定给 Variable 参数指定的变量 如果当前未打开将 Expression 参数的值作为其命令名称的流,则创建流 创建的流等同于调用 popen 子例程,此时 Command 参数取 Expression 参数的值且 Mode 参数设置为一个是 r 的值 只要流保留打开且 Expression 参数求得同一个字符串,则对 getline 函数的每次后续调用读取另一个记录 如果未指定 Variable 参数,则 $0 记录变量和 NF 特殊变量设置为从流读取的记录
getline [ Variable ] < Expression 从 Expression 参数指定的文件读取输入的下一个记录,并将 Variable 参数指定的变量设置为该记录的值 只要流保留打开且 Expression 参数对同一个字符串求值,则对 getline 函数的每次后续调用读取另一个记录 如果未指定 Variable 参数,则 $0 记录变量和 NF 特殊变量设置为从流读取的记录
getline [ Variable ] 将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录 如果未指定 Variable 参数,则 $0 记录变量设置为该记录的值,还将设置 NF、NR 和 FNR 特殊变量
  • 时间函数:
mktime( YYYY MM dd HH MM ss[ DST]) 生成时间格式 strftime([format [, timestamp]]) 格式化时间输出,将时间戳转为时间字符串 具体格式
systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数