关于 Word Splitting 和 IFS 的三个细节

时间:2024-07-06 22:06:56

在 Bash manual 里叫 Word Splitting,在 Posix 规范里叫 Field Splitting,这两者指的是同一个东西,我把它翻译成“分词”,下面我就说三点很多人都忽略掉(或者说从没仔细考虑过)的分词细节。

1. 分隔符到底是字符还是字符串?

IFS 里面可以包含多个字符,那么在分词的过程中,是 IFS 中的每个单独的字符作为分隔符,还是由这些字符组合成的任意字符串作为分隔符?我们写个简单的例子证明一下:

$ var=a12b21c IFS=12

$ printf "<%s>\n" $var

<a>

<>

<b>

<>

<c>

由于输出了两个空的字段,也就证明了是 1 和 2 两个单独的 IFS 字符作为了分隔符,而不是 12 和 21 这两个由 IFS 字符组成的字符串作为了分割符。但结论没这么简单,再看一个例子:

$ var=$'1 \t 2' IFS=$' \t' #红色背景的是空格

$ printf "<%s>\n" $var

<1>

<2>

在这个例子中,IFS 包含两个字符:空格符和制表符, 如果说它们俩是单独作为分隔符的,那么 $var 就应该被分割成四个字段,分别是 <1> <> <> <2>,但实际的结果并不是这样的。这是因为:空格符、制表符(\t)、换行符(\n)这三个空白符在 IFS 中会被特殊对待,Shell 会把它们按照任意顺序任意数量组合成的字符串作为分隔符,而不是单个字符作为分隔符。在这个例子中,是“ \t ”整体作为了一个分隔符,把 1 和 2 分成了两个字段。下面再演示一下 IFS 为换行符的情况:

$ var=$'1\n\n\n2\n\n\n3' IFS=$'\n'

$ printf "<%s>\n" $var

<1>

<2>

<3>

这个例子中,三个连续的换行符作为了分隔符,把 var 分成了三个字段。

如果 IFS 既包含空白符,又包含非空白符,会怎么样?

看下面的例子,IFS 中既有空白符 \n 又有非空白符 2:

$ var=$'1\n\n2\n\n3' IFS=$'\n2'

$ printf "<%s>\n" $var

<1>

<3>

咦?有些同学就想问了:上面不是说,Shell 会把以任意个 IFS 包含的空白符组成的字符串作为分隔符,把单个 IFS 中包含的非空白符作为分隔符吗,那不就是有三个分隔符:“\n\n”、“2”、“\n\n”吗?但从表现上来看,是“\n\n2\n\n”整体作为了一个分隔符,这是怎么回事?

下面我们就再说个法则:“一个 IFS 中包含的非空白符会和它两边存在的由 IFS 中包含的空白符组成的字符串组合成一起作为分隔符”。在上面的例子中,就是 2 和它两边的 “\n\n” 5个字符组合起来作为了一个分割符,所以产生了 1 和 3两个字段。

2. 尾部的空字段会被丢弃

$ var=:1:2:3: IFS=:

$ printf "<%s>\n" $var

<>

<1>

<2>

<3>

四个分隔符,应该把 var 切割成 5 个字段,但从结果上看,尾部的空字段不见了?是的,再说一个法则:分词之后,如果最后一个字段是空的,那么这个字段会被丢弃掉。其实,一个包含空值的变量在分词之后会被丢弃,也符合这条法则:

$ var=""

$ set -- $var

$ echo $#

0

上面的例子中,var 的值就是空,所以在分词之后也是只有一个空的字段,也是最后一个字段,符合尾部空字段被丢弃的法则,所以 set 命令只看到了 -- 这一个参数。

3. 首尾的空白符序列会被丢弃掉

$ var=$'\n1:2\n' IFS=$'\n:'

$ printf "<%s>\n" $var

<1>

<2>

这个例子中,分割符应该有三个,分别是 \n、:、\n,它们会把 var 分割成四个字段 <> <1> <2> <>,尾部的字段是空的,被丢弃,就成了 <> <1> <2>。咦?WTF,为什么和真实的输出不符!下面是最后一条法则:在正式分词之前,变量两边的由 IFS 包含的空白符组合成的序列会被丢弃掉,然后才进行正式分词。在上面的例子中,var 会先被切头去尾,也就变成 “1:2”,才进行正式的分词,也就最终被分成了 1 和 2 两个字段了。注意,首尾的空白符序列只包含由 IFS 中包含的空白符组成的序列,比如上面的例子改一下:

$ var=$'\n1:2\n' IFS=$'\t:'

$ printf "<%s>\n" $var

<

1>

<2

>

由于 \n 没有包含在 IFS 中,所以 var 首尾的 \n 也就不会被去掉。 关于这点,Bash 的文档记载有 bug,我给提 bug 修复了。

最后说一句,本文中所举的例子都是用 parameter expansion 来演示的,command substitution 和 arithmetic expansion 虽然没有演示,但同样适用。