awk技巧【转】

时间：2024-05-29 23:02:56

转自 awk技巧（如取某一行数据中的倒数第N列等） - 散尽浮华 - 博客园 https://www.cnblogs.com/kevingrace/p/8481965.html

使用awk取某一行数据中的倒数第N列：$(NF-(n-1))
比如取/etc/passwd文件中的第2列、倒数第1、倒数第2、倒数第4列（以冒号为分隔符）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@ipsan-node06 ~]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
[root@ipsan-node06 ~]# awk -F":" '{print $2,$(NF),$(NF-1),$(NF-3)}' /etc/passwd
x /bin/bash /root 0
x /sbin/nologin /bin 1
x /sbin/nologin /sbin 2
x /sbin/nologin /var/adm 4
x /sbin/nologin /var/spool/lpd 7
x /bin/sync /sbin 0
x /sbin/shutdown /sbin 0
x /sbin/halt /sbin 0
x /sbin/nologin /var/spool/mail 12
x /sbin/nologin /root 0

linux实现将文本文件每一行中相同第一列对应的其他列进行拼接

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@jump-v4 ~]# sort b.txt|uniq
1    34
1    49
2    45
2    48
3    54
3    57
3    89
[root@jump-v4 ~]# sort b.txt|uniq|awk '{a[$1]=(a[$1]" "$2);} END{for(i in a) print i ":"a[i]}'
1: 34 49
2: 45 48
3: 54 57 89
命令解析：
1）首先sort test|uniq实现对test文件的去重，去掉了重复的 1 49，保留不同的行；
2）awk '{a[$1]=(a[$1]" "$2);} END{for(i in a) print i ":"a[i]}' 表示的含义是： 将每一行的第一列最为数组a的key，
   第二列作为a的value，同时碰到相同的key，就把其值进行拼接，linux的shell的字符串拼接形式为str = （str  “ ” $var），
   最后遍历数组a，其中i为数组a的每一个key，a[i]为key对应的值；

使用awk命令获取文本的某一行，某一列的技巧：

1
2
3
4
5
6
1）打印文件的第一列(域) ： awk '{print $1}' filename
2）打印文件的前两列(域) ： awk '{print $1,$2}' filename
3）打印完第一列，然后打印第二列 ： awk '{print $1 $2}' filename
4）打印文本文件的总行数 ： awk 'END{print NR}' filename
5）打印文本第一行 ：awk 'NR==1{print}' filename
6）打印文本第二行第一列 ：sed -n "2, 1p" filename | awk 'print $1'

Awk取文件中的指定数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
[root@jump-v4 ~]# cat a.txt
123.122.123.12 12121212
121.2332.121.11 232323
255.255.255.255 21321
123.122.123.12 12121212
123.122.123.12 1212121er2
123.122.123.12 12121212eer
123.122.123.12 12121212ere
255.255.255.255 21321
121.2332.121.11 232323
255.255.255.255 21321
[root@jump-v4 ~]# cat a.txt|awk '{print $1}'
123.122.123.12
121.2332.121.11
255.255.255.255
123.122.123.12
123.122.123.12
123.122.123.12
123.122.123.12
255.255.255.255
121.2332.121.11
255.255.255.255
[root@jump-v4 ~]# cat a.txt|awk '{print $1}'|sort|uniq -c
      2 121.2332.121.11
      5 123.122.123.12
      3 255.255.255.255
[root@jump-v4 ~]# cat a.txt|awk '{print $1}'|sort|uniq -c|awk '{print $2,$1}'
121.2332.121.11 2
123.122.123.12 5
255.255.255.255 3
[root@jump-v4 ~]# cat a.txt|awk '{print $1}'|sort|uniq -c|awk '{print $2,$1}'|sort -k2 -rn
123.122.123.12 5
255.255.255.255 3
121.2332.121.11 2

linux文件按大小来排序

1
2
3
4
5
6
[root@cdn ~]# ls -s | sort -k 1 -n
表示对第一个字段(即文件大小)按数值大小进行排序；
如果想倒序，可以增加-r参数；
sort命令可进行排序；
-k参数表示对第几个字段进行排序；
ls -s:第一列显示的是文件大小

定时删除resin日志的脚本，每小时删除一次

1
2
3
4
5
6
[root@cdn ~]# cat resin-log.sh
#!/bin/bash
cd /data/log/resin && find /data/log/resin \( -name "*jvm-app-0.log.*" -a ! -name "*.gz" \) -a -mmin +30 -exec gzip  {} \;
[root@cdn ~]# crontab -l
0 * * * * /bin/bash -x /root/resin-log.sh >/dev/null 2>&1

相关文章