【Shell文本三剑客--awk】

awk简介

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。

awk命令格式和选项

调用awk语法格式

1.命令行方式
awk [-F  field-separator]  '条件 commands'  input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件，条件成立才会执行commands。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

3.将所有的awk命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

1.条件（Pattern）：

一般使用关系表达式作为条件。这些关系表达式非常多，具体参考下表。

awk 支持的主要条件类型

条件类型	条件	说明
awk 保留字	BEGIN	在 awk 程序一开始，尚未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次
awk 保留字	END	在 awk 程序处理完所有数据，即将结束时执行？END 后的动作只在程序结束时执行一次
关系运算符	>	大于
关系运算符	<	小于
关系运算符	>=	大于等于
关系运算符	<=	小于等于
关系运算符	==	等于。用于判断两个值是否相等。如果是给变童赋值，则使用"=”
关系运算符	!=	不等于
关系运算符	A~B	判断字符串 A 中是否包含能匹配 B 表达式的子字符串
关系运算符	A!~B	判断字符串 A 中是否不包含能匹配 B 表达式的子字符串
正则表达式	/正则/	如果在“//”中可以写入字符，则也可以支持正则表达式

例如：
x>10：判断变量 x 是否大于 10；

x == y：判断变量 x 是否等于变量 y；

A~B：判断字符串 A 中是否包含能匹配 B 表达式的子字符串；

A!~B：判断字符串 A 中是否不包含能匹配 B 表达式的子字符串；

2.awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

变量名	释义
ARGC	命令行参数个数
ARGV	命令行参数排列
ENVIRON	支持队列中系统环境变量的使用
FILENAME	awk浏览的文件名
FNR	浏览文件的记录数
FS	设置输入域分隔符，等价于命令行 -F选项
NF	浏览记录的域的个数（按分割符分割的区域数）
NR	已读的记录数（当前行数）
OFS	输出域分隔符
ORS	输出记录分隔符
RS	控制记录分隔符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

awk的条件用法

#student.txt
ID Name    PHP   Linux  MySQL Average
1  Liming  82      95    86    87.66
2  Sc      74      96    87    85.66
3  Gao     99      83    93    91.66
4  xy      100.00     50    60    70

1) BEGIN

BEGIN 是 awk 的保留字，是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始，尚未读取任何数据之前"。

一旦 BEGIN 后的动作执行一次，当 awk 开始从文件中读入数据时，BEGIN 的条件就不再成立，所以 BEGIN 定义的动作只能被执行一次。

[root@liang shell]# awk 'BEGIN{printf "This is a transcript\n"} {printf $2 "\t" $6 "\n"}' student.txt
This is a transcript
Name    Average
Liming  87.66
Sc      85.66
Gao     91.66
xy      70

这里定义了两个动作

第一个动作使用BEGIN条件，所以会在读入文件数据前打印"这是一张成绩单"（只会执行一次）
第二个动作会打印文件的第二个字段和第六个字段

2) END

END 也是 awk 的保留字，不过刚好和 BEGIN 相反。END 是在 awk 程序处理完所有数据，即将结束时执行的。END 后的动作只在程序结束时执行一次。例如：

[root@liang shell]# awk 'END{printf "The End \n"} {printf $2 "\t" $6 "\n"}' student.txt
Name    Average
Liming  87.66
Sc      85.66
Gao     91.66
xy      70
The End

3)关系运算符

【例 1】成绩大于等于87分的学生的名字

[root@liang shell]# cat student.txt | grep -v Name | awk '$6 >= 87 {printf $2 "\n"}'
Liming
Gao

使用cat输出文件内容，用grep取反包含"Name"的行
判断第六个字段（平均成绩）大于等于87分的行，如果判断式成立，则打印第六列（学员名）

【例 2】Sc 用户的平均成绩

[root@liang shell]# awk '$2 -/Sc/ {printf $6 "\n"}' student.txt 
85.66

如果第二个字段中包含"Sc"字符，则打印第六个字段
这里要注意，在 awk 中，只有使用"//"包含的字符串，awk 命令才会査找。也就是说，字符串必须用"//"包含，awk 命令才能正确识别。

【例3】linux成绩大于90分，打印name is a good student

[root@liang shell]# cat student.txt | awk 'NR>=2 && $4>90 {print $2" is a good student"}'
Liming is a good student
Sc is a good student

先判断行号，如果大于 2
再判断成绩，如果 linux 的值大于 90 分，就打印好学生

【例4】统计每一科的总分和平均分
脚本比较长，可以写在一个文件中（student_count.awk） -f指定文件执行

#!/usr/bin/awk -f

BEGIN{
    printf "%-10s%-10s%-10s\n", "course", "total","average"
}

{   
if (NR==1){
        name1 = $3
        name2 = $4
        name3 = $5
    } else{
        total[name1] +=$3
        total[name2] +=$4
        total[name3] +=$5
    }

    line = NR-1
} 

END{
for (u in total)
    {
        printf "%-10s%-10s%-10s\n", u, total[u],total[u]/line
    }

}

BEGIN打印表头，然后对每一行数据进行处理，如果当前是第一行，先把所有读取到的科目名称赋值给变量，非第一行，创建一个数组，把对应科目的分数累加，end格式化输出
执行命令输出：

[root@liang dev04_shell_04]# awk -f student_count.awk student.txt 
course    total     average   
MySQL     326       81.5      
PHP       355       88.75     
Linux     324       81

4) 正则表达式

当使用 df 命令査看分区的使用情况时，如果我只想査看已tmp开头的分区的使用情况，则可以这样做：

[root@liang shell]# df -h | awk '/^tmp/ {printf $1 "\t" $5 "\n"}'
tmpfs   0%
tmpfs   1%
tmpfs   0%
tmpfs   0%

正则表达式具体用法此处不展开讲述

命令写法规范：

多个条件{动作}可以用空格分隔，也可以用回车分隔。
在一个动作中，如果需要执行多条命令，则需要用分隔，或用回车分隔。
在 awk 中，变量的赋值与调用都不需要加入"$"符号。
在条件中判断两个值是否相同，请使用"=="，以便和变量赋值进行区分

awk执行过程分析

第一步：执行BEGIN { commands } pattern 语句块中的语句
BEGIN语句块：在awk开始从输入输出流中读取行之前执行，在BEGIN语句块中执行如变量初始化，打印输出表头等操作。
第二步：从文件或标准输入中读取一行，然后执行pattern{ commands }语句块。它逐行扫描文件，从第一行到最后一行重复这个过程，直到全部文件都被读取完毕。
pattern语句块：pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行。{ }类似一个循环体，会对文件中的每一行进行迭代，通常将变量初始化语句放在BEGIN语句块中，将打印结果等语句放在END语句块中。
第三步：当读至输入流末尾时，执行END { command }语句块
END语句块:在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

秒客网