UTF-8文件的Unicode签名BOM(Byte Order Mark)

时间:2021-02-20 22:22:08

最近碰到一个问题,自己编写的utf8格式的ini配置文件(包含中文的字符串),QSettings读不正确(而且我也调了setIniCodec("UTF-8")),经过我仔细的分析,我自己写了一个测试文件,将QSettings的编码格式设置为utf8然后写入,发现这个ini配置文件在notepad和utraedit中的字符是一样的,然后我通过utraedit的十六进制仔细对比了一下,发现了问题所在,原来直接使用qsettings读,qsettings不会考虑BOM的问题,而qsettings则直接读取,所以导致手写的utf8格式的ini配置文件读取不正确,这就是我们在编写ansii格式正确,但utf8格式不正确的原因所在啊。解决该问题的方法就是如果我们想手写utf8格式的ini配置文件我们直接保存为不带签名的即可。


BOM(Byte Order Mark),是UTF编码方案里用于标识编码的标准标记,在UTF-16里本来是FF FE,变成UTF-8就成了EF BB BF。这个标记是可选的,因为UTF8字节没有顺序,所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测, 而把它当作正常字符处理。

微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节, windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的, 然而这个只是微软暗自作的标记, 其它平台上并没有对UTF-8文本文件做个这样的标记。

也 就是说一个UTF-8文件可能有BOM,也可能没有BOM,那么怎么区分呢?三种方法。1,用UltraEdit-32打开文件,切换到十六进制编辑模 式,察看文件头部是否有EF BB BF。2,用Dreamweaver打开,察看页面属性,看“包括Unicode签名BOM”前面是否有个勾。3,用Windows的记事本打开,选择 “另存为”,看文件的默认编码是UTF-8还是ANSI,如果是ANSI则不带BOM。

使用UraEdit可以将utf8文件保存为带BOM的格式,也可以保存为不带BOM格式的。使用BOM格式在有些地方会导致utf8文件读写问题。windows上带签名的多。notepad会自动识别。