开始提取百科的词条统计信息,遇到如图一所示的问题,之前也遇到过但不知道怎么回事,今天逐条审查才发现原来是中文字符串问题,比如这种:Python中默认情况下,赋值strs = '默认编码是ascii',输出strs[0],结果为'Ä',输出strs[10]为'a',输出strs[0:2]才是'默'
因为字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。开始直接对中文字符串切片操作会报错,如图三更改了代码之后先对tag解码之后再切片就运行正常如图2 所示了