【linux】Shell脚本三剑客之grep和egrep命令的详细用法攻略

时间：2024-10-08 15:19:33

在这里插入图片描述

✨✨ 欢迎大家来到景天科技苑✨✨

???????? 养成好习惯，先赞后看哦~????????

???? 作者简介：景天科技苑
????《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，****全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。
????《博客》：Python全栈，PyQt5和Tkinter桌面应用开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，云原生K8S，数据分析，Django，fastapi，flask等框架，linux，shell脚本等实操经验，网站搭建，数据库等分享。

所属的专栏：linux基础与进阶，shell脚本编写实战
景天的主页：景天科技苑

在这里插入图片描述

文章目录

  • Shell脚本中grep和egrep的详细用法教程
    • 一、grep基础用法
      • 1.1 grep命令简介
      • 1.2 grep命令的基本语法
      • 1.3 常用选项
      • 1.4 示例
    • 二、grep中的正则表达式
      • 2.1 元字符
      • 2.2 示例
    • 三、egrep（或grep -E）用法
      • 3.1 扩展正则表达式的特点
      • 3.2 常用扩展元字符
      • 3.3 示例
    • 四、Shell脚本中的grep和egrep（grep -E）应用案例
      • 4.1 脚本示例：分析Web服务器日志
    • 五、高级用法和实用技巧
      • 5.1 结合管道和重定向
      • 5.2 使用正则表达式分组和反向引用
      • 5.3 忽略文件中的二进制数据
      • 5.4 使用`grep`进行文件内容差异比较
      • 5.5 实用技巧：结合`xargs`和`find`
    • 六、总结

Shell脚本中grep和egrep的详细用法教程

在Linux和Unix系统中，grep（Global Regular Expression Print）是一个非常强大的文本搜索工具，能够根据用户指定的模式（由正则表达式和文本字符组合而成）对目标文件进行逐行搜索，并显示匹配到的行。而egrep（Extended Grep）则是grep的扩展版本，支持更多的正则表达式语法。尽管egrep在较新的系统中被grep -E选项所取代，但了解其用法对于理解和使用正则表达式仍然具有重要意义。

本教程将详细介绍grep和egrep（或grep -E）在shell脚本中的用法，并通过实际案例加深理解。

一、grep基础用法

1.1 grep命令简介

grep的全称是Global Regular Expression Print，意为全局正则匹配并打印。它是最常用的文本搜索工具之一，能够使用正则表达式搜索文本，并把匹配的行打印出来。

1.2 grep命令的基本语法

grep [选项] 模式 文件名
  • 1
  • 模式：是由正则表达式的元字符和文本字符组合而成的过滤条件。
  • 文件名：指定要搜索的文件。

1.3 常用选项

  • -a：以文本文件方式搜索（默认）。
  • -i：忽略大小写。
  • -n：显示匹配行的行号。
  • -v：反向选择，即显示不包括匹配关键字的行。
  • -c：统计匹配到的行数，而非匹配到的次数。
  • -E：使用扩展正则表达式（等同于egrep命令）。
  • -o：仅显示匹配到的字符串，而非整行。
  • -r 或 -R：递归搜索目录中的所有文件。

1.4 示例

示例1：查找文件中的特定字符串

grep "the"
  • 1

这个命令会搜索文件中包含"the"的行，并打印出来。

示例2：不区分大小写查找

grep -i "the"
  • 1

使用-i选项忽略大小写，查找"the"、“The”、"THE"等所有形式的行。

示例3：显示匹配行的行号

grep -n "the"
  • 1

在输出中包含匹配行的行号。

示例4：反向查找

grep -v "the"
  • 1

打印不包含"the"的所有行。

示例5：递归搜索目录

grep -r "bash" /opt/test/
  • 1

递归搜索/opt/test/目录及其所有子目录中的文件，查找包含"bash"的行。

二、grep中的正则表达式

grep支持基础正则表达式，这些表达式通过特定的元字符来定义搜索模式。

2.1 元字符

  • .：匹配除换行符外的任意单个字符。
  • *：匹配前面的字符0次或多次。
  • ^：匹配行首。
  • $：匹配行尾。
  • []：匹配方括号内的任意单个字符。
  • [^]：匹配不在方括号内的任意单个字符。
  • \{n\}：匹配前面的字符恰好n次（注意，在Shell中{}需要转义）。
  • \{n,\}：匹配前面的字符至少n次。
  • \{n,m\}：匹配前面的字符至少n次，但不超过m次。

2.2 示例

示例1：匹配任意字符

grep "r..t"
  • 1

匹配包含"r"后跟任意两个字符，然后是"t"的行。

示例2：匹配行首和行尾

grep "^the"
  • 1

匹配以"the"开头的行。

grep "bash$"
  • 1

匹配以"bash"结尾的行。

示例3：匹配范围

grep "[a-z]oo"
  • 1

匹配包含以小写字母开头后跟"oo"的行。

示例4：匹配指定次数

grep "o\{2\}"
  • 1

匹配包含连续两个"o"的行。注意，在Shell中{}需要转义。

三、egrep（或grep -E）用法

egrep是grep的扩展版本，它支持扩展的正则表达式（ERE）。在较新的GNU/Linux系统中，egrep已经被grep -E选项所取代，因此本教程将重点介绍使用grep -E的方式来实现egrep的功能。

3.1 扩展正则表达式的特点

扩展正则表达式（ERE）相比基础正则表达式（BRE）提供了更多的元字符和更简洁的语法。这使得编写复杂的搜索模式变得更加容易和直观。

3.2 常用扩展元字符

  • +：匹配前面的字符1次或多次。
  • ?：匹配前面的字符0次或1次。
  • |：逻辑或，匹配前面的或后面的表达式。
  • ()：用于分组，可以和|结合使用，也可以用于引用。
  • {n}、{n,}、{n,m}：与基础正则表达式相同，但无需转义。

3.3 示例

示例1：使用+匹配一次或多次

grep -E "go+d"
  • 1

匹配包含"good"、“goodd”、“goood"等（即"go"后跟一个或多个"d”）的行。

示例2：使用?匹配零次或一次

grep -E "colou?r"
  • 1

匹配包含"color"或"colour"的行。

示例3：使用|实现逻辑或

grep -E "red|blue"
  • 1

匹配包含"red"或"blue"的行。

示例4：使用()进行分组

grep -E "(red|blue) car"
  • 1

匹配包含"red car"或"blue car"的行。注意，分组在这里主要是为了说明()的用法，实际上对于本例来说，不使用分组也能达到同样的效果。

示例5：结合使用()和|

grep -E "(hello|world) (world|hello)"
  • 1

匹配包含"hello world"、“world hello”、"hello hello"或"world world"的行。

四、Shell脚本中的grep和egrep（grep -E）应用案例

在Shell脚本中，grep和grep -E（或egrep）经常用于文本处理和数据过滤。下面是一个简单的Shell脚本示例，演示了如何结合使用这些工具来处理日志文件。

4.1 脚本示例：分析Web服务器日志

假设我们有一个Web服务器的访问日志文件，现在我们想要找出所有来自特定IP地址（例如192.168.1.100）的GET请求，并显示这些请求的URL。

#!/bin/bash

# 定义IP地址和日志文件名
IP="192.168.1.100"
LOGFILE=""

# 使用grep和awk来过滤和提取信息
# grep查找包含指定IP的行，awk打印出GET请求的URL部分
echo "GET requests from $IP:"
grep "$IP" $LOGFILE | grep -E "GET .+ HTTP" | awk '{print $7}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

在这个脚本中，我们首先定义了两个变量IP和LOGFILE，分别存储了要搜索的IP地址和日志文件名。然后，我们使用grep命令两次：第一次查找包含指定IP地址的行，第二次（使用grep -E）在这些行中进一步筛选出包含"GET"请求的行。最后，我们使用awk命令来提取并打印出这些GET请求的URL部分（这里假设URL是日志行的第七个字段，这取决于日志的具体格式）。

请注意，这个脚本是一个简化的示例，实际情况下Web服务器日志的格式可能更加复杂，需要相应地调整awk命令中的字段索引。

当然，我们可以继续深入探讨grep和grep -E（或egrep）在Shell脚本中的高级用法和一些实用技巧。

五、高级用法和实用技巧

5.1 结合管道和重定向

grep命令经常与管道（|）和重定向（>、>>、<）结合使用，以实现复杂的文本处理流程。

示例：从多个文件中搜索字符串，并将结果保存到文件中。

grep "error"    >
  • 1

这个命令会搜索、和中所有包含"error"的行，并将结果保存到文件中。

5.2 使用正则表达式分组和反向引用

虽然grep -E（或egrep）主要用于扩展正则表达式的支持，但值得注意的是，标准的grep（使用-P选项的GNU grep版本）也支持Perl兼容的正则表达式（PCRE），这提供了更强大的分组和反向引用功能。

然而，出于兼容性和普遍性的考虑，这里我们主要讨论grep和grep -E的基本用法。但你可以通过grep -P（如果可用）来访问更复杂的正则表达式特性。

注意：不是所有的grep实现都支持-P选项。

5.3 忽略文件中的二进制数据

默认情况下，grep会尝试读取并搜索文件中的每一行，包括可能存在的二进制数据。这有时会导致意外的输出或错误。为了避免这种情况，可以使用-a（实际上是默认行为，表示将文件视为文本）或-I（忽略二进制文件）选项。

示例：搜索文本文件，忽略二进制文件。

grep -rI "pattern" /path/to/directory
  • 1

虽然-a通常不是必需的（因为它是默认行为），但-I可以明确指示grep忽略二进制文件。

5.4 使用grep进行文件内容差异比较

虽然grep主要用于搜索文本，但你可以通过一些创造性的方法使用它来比较文件之间的差异。然而，对于文件比较，通常更推荐使用diff、comm或其他专门的工具。不过，这里有一个使用grep来查找两个文件共有行的简单示例：

示例：查找两个文件共有的行。

grep -Fxvf
  • 1

注意：这个命令实际上并没有直接比较两个文件，而是从中过滤掉中存在的行（-v表示反向选择，-F表示将模式作为固定字符串处理，-x表示匹配整行）。要真正比较两个文件并找出差异，请使用diff命令。

5.5 实用技巧：结合xargs和find

在处理大量文件时，grep可以与find命令结合使用来搜索目录树中的文件，并通过xargs命令优化性能。

示例：搜索当前目录及子目录下所有.txt文件中的特定字符串。

find . -type f -name "*.txt" -print0 | xargs -0 grep "pattern"
  • 1

这里，find命令用于查找所有.txt文件，并通过-print0选项和xargs -0选项安全地处理文件名中的特殊字符（如空格、换行符等）。

六、总结

grep和grep -E（或egrep）是Linux和Unix系统中不可或缺的文本搜索工具。通过掌握它们的基本用法和正则表达式的基础知识，你可以编写出强大的Shell脚本来处理各种文本数据。此外，结合管道、重定向、find和xargs等命令，你可以构建出复杂的文本处理流程，以满足各种需求。

记住，正则表达式是grep命令的核心，因此深入学习正则表达式将极大地提高你的文本处理能力。随着你对这些工具的熟悉，你将能够更高效地解决文本搜索和过滤的问题。

相关文章