shell脚本处理日志的几个题目

时间:2022-12-20 13:00:01

统计IP访问:

要求分析apache访问日志,找出访问页面数量在前100位的IP数。日志大小在78M左右。以下是apache的访问日志节选

 202.101.129.218 - - [26/Mar/2006:23:59:55 +0800] "GET /online/stat_inst.php?pid=d065 HTTP/1.1" 302 20-"-" "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

 # awk '{print $1}' log      |sort |uniq -c|sort -r |head -n10

      5 221.224.78.15

      3 221.233.19.137

      1 58.63.148.135

      1 222.90.66.142

      1 222.218.90.239

      1 222.182.95.155

      1 221.7.249.206

      1 221.237.232.191

      1 221.235.61.109

      1 219.129.183.122

 为什么在使用uniq之前要sort?这是因为uniq只对连续重复次数进行统计。

文本分析

取出password中shell出现的次数
第一种方法结果:
      4 /bin/bash
      1 /bin/sync
      1 /sbin/halt
     31 /sbin/nologin
      1 /sbin/shutdown 答案:

cat /etc/passwd|awk -F: '{if ($7!="") print $7}'|sort|uniq –c

文件整理

employee文件中记录了工号和姓名
employee.txt:
100 Jason Smith 
200 John Doe 
300 Sanjay Gupta 
400 Ashok Sharma 
bonus文件中记录工号和工资
bonus.txt:
100 $5,000 
200 $500 
300 $3,000 
400 $1,250 
要求把两个文件合并并输出如下
处理结果:
400 ashok sharma $1,250
100 jason smith  $5,000
200 john doe  $500
300 sanjay gupta  $3,000

答案:join employee bonus | sort -k 2