文本离散表示(二):新闻语料的one-hot编码

时间:2020-12-29 13:03:07

上一篇博客介绍了文本离散表示的one-hot、TF-IDF和n-gram方法,在这篇文章里,我做了一个对新闻文本进行one-hot编码的小实践。

文本的one-hot相对而言比较简单,我用了两种方法,一种是自己造*,第二种是用深度学习框架keras来做。同时,我发现尽管sklearn可以实现对特征向量的one-hot,但并不适用于文本的处理。

代码和新闻文本文件可到我github主页下载:https://github.com/DengYangyong/one_hot_distribution。发现新闻文本文件好大。。。不该上传完整的。

一、关于sklearn进行one-hot

在翻阅介绍文本one-hot的博客时,看到有博主举了一个用sklearn实现one-hot的小例子,我也把代码运行了一遍。

代码和输出结果如下:

from sklearn import preprocessing
import numpy as np enc = preprocessing.OneHotEncoder() # 创建对象
array1 = np.asarray([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])
enc.fit(array1) # 拟合
array2 = enc.transform([[0,1,3]]).toarray() # 转化
print("4个样本的特征向量是:\n", array1,'\n')
print('对第5个样本的特征向量进行one-hot:', array2)

输出结果:

4个样本的特征向量是:
[[0 0 3]
[1 1 0]
[0 2 1]
[1 0 2]] 对第5个样本的特征向量进行one-hot: [[1. 0. 0. 1. 0. 0. 0. 0. 1.]]

什么意思呢?拿西瓜做为例子,有4个西瓜,每个西瓜取3个特征,{"瓜籽": ['有', '无'], "根蒂": ['硬挺','蜷缩','枯萎'], "颜色": ['白','黑','绿','黄']},第一个特征有两个属性,用0和1表示,第二个特征有三个属性,用0、1和2表示,第三个特征有4个属性,用0-3表示。所以array1这个4*3的数组表示4个西瓜的特征向量,4表示样本数,3表示特征数。那么在进行one-hot时,每个样本的向量的维度是9(2+3+4)维,也就是属性的数量进行累加。样本第一个特征取0时,表示为[1,0]; 第二个特征为1时,表示为[0,1,0];第三个特征为3时,表示为[0,0,0,1],然后按顺序拼成一个向量,就得到了[1,0,0,1,0,0,0,0,1],这个9维的向量也就是第5个西瓜的特征向量的one-hot。

那可以用来做文本的one-hot吗?不可以,因为上面的例子是把向量转为了one-hot,而文本one-hot是把类似[['天', '气', '很','好'],['我','爱','自','然','语','言','处','理']]这样的形式转为one-hot,这样的形式转为向量要么是词频矩阵,要么直接就是one-hot。所以sklearn的这个函数是没法做文本的one-hot的。

二、自己造*实现文本one-hot

这次是对新闻文本进行one-hot,cnews.train.txt 这个文件中有几十万篇新闻文本,有10类新闻,分别是 ['体育', '财经', '房产', '家居', '教育', '科技', '时尚', '时政', '游戏', '娱乐']。文件的每一行就是一篇新闻,开头两个字是类别,后面是新闻内容,中间用"\t"隔开。比如第一行的内容:

体育    马晓旭意外受伤让国奥警惕 无奈大雨格外青睐殷家军记者傅亚雨沈阳报道 来到沈阳,国奥队依然没有摆脱雨水的困扰。......

考虑到内容较大,因此只读取1000篇新闻文本进行one-hot。经过了几个步骤:把文本处理成char-level的列表——取前1000个词频最高的字作为字典——为字典的每个字分配索引——进行one-hot编码。

最终得到的是1000*1000维的one-hot数组。打开保存的文本一看,密密麻麻的0,星星点点的1,足以看到数据的稀疏性。

import numpy as np
import os text_path = os.getcwd()+os.sep+'cnews'+os.sep
fp = open(text_path+'cnews.train.txt','r',encoding='utf8')
fout = open(text_path+'cnews_one_hot_diy.txt','w',encoding='utf8') #把新闻处理成char_level的列表,去除停用词
# 输出:[['马', '晓', '旭', '意', '外', '受', '伤', '国', '奥', '警', '惕', '', '奈',...],[],...[]]
news_list = []
news_count =0
fp_stop = open("ChineseStopWords.txt","r",encoding="utf8") #打开中文停用词表用于过滤
dict_stopwords = [stopwords.strip() for stopwords in fp_stop.readlines()]
for text in fp.readlines() :
if text.strip() and news_count < 1000: #只取前1000篇新闻文本
label,news = text.strip().split('\t') #把类别标签和文本分开
news_list.append([char.strip() for char in list(news) if char not in dict_stopwords]) # 把文本切成一个个字并过滤停用词
news_count += 1
print("读取了cnews.train.txt 中的"+str(news_count)+"条新闻。\n")
fp_stop.close()
fp.close() #把每个字的词频统计出来
# 输出:{'马': 1379, '晓': 31, '旭': 25, '意': 855, '外': 1218, '受': 872, '伤': 1169, '国': 1046, ...}
token_count = {}
for list_ in news_list:
for word in list_:
if word not in token_count:
token_count[word] = 1
else:
token_count[word] += 1 # 按词频对字进行排序,取前1000个词频最高的字
# token_sort输出:{'分': 8759, '球': 8193, '场': 7862, '斯': 7731, '赛': 7040, '中': 6537, '队': 6169, ...}
# dict.items()是把字典转化为元素为元祖的列表,然后按照元祖的第2个值进行排序,即词频。
token_tuple = sorted(token_count.items(), key=lambda item: item[1],reverse=True)
# 取前1000个词频最高的字,转化为字典。
token_sort = dict(token_tuple[:1000]) #为每一个字分配索引,不为0分配字,貌似是深度学习中的习惯。
# 输出:{'分': 1, '球': 2, '场': 3, '斯': 4, '赛': 5, '中': 6, '队': 7, '时': 8, '出': 9, '篮': 10, '火': 11, '次': 12, '前': 13, ...}
token_index = dict(zip(token_sort.keys(),range(1,len(token_sort)))) # 进行进行one-hot编码
# result[0]输出为:array([0., 1., 1., 1., 0., 1., 1., 1., 1., 1., 0., 0., 1., 1., 0., 0., 0.,..])
result = np.zeros(shape=(1000,1000))
for i,list_ in enumerate(news_list):
for word in list_:
if word in token_index:
j = token_index[word]
result[i,j] = 1 # 用numpy 将one-hot按int格式保存,方便下次打开为ndarray格式,而不是文本。
np.savetxt(text_path+"cnews_one_hot_diy.txt",result,fmt="%d")
fout.close()

第一篇文本的one-hot:

文本离散表示(二):新闻语料的one-hot编码

三、 用keras实现one-hot

使用keras需要先安装tensorflow,用宇宙最牛公司的深度学习框架来做one-hot,有杀鸡用牛刀的感觉,所以说这是豪华版。不过可以通过这个过程来掌握一些python库的用法,也是非常有意思的。过程比较简单,就两步:文本处理成char-level的列表——进行one-hot编码。

不多说了,上代码!

#coding=utf8
from keras.preprocessing.text import Tokenizer
from collections import Counter
import os
from itertools import chain
import numpy as np text_path = os.getcwd()+os.sep+'cnews'+os.sep
fp = open(text_path+'cnews.train.txt','r',encoding='utf8')
fout = open(text_path+'cnews_one_hot.txt','w',encoding='utf8')
news_list = [] #把新闻处理成char_level的列表,去除停用词
# 输出:[['马', '晓', '旭', '意', '外', '受', '伤', '国', '奥', '警', '惕', '', '奈',...],[],...[]]
news_count =0
fp_stop = open("ChineseStopWords.txt","r",encoding="utf8")
dict_stopwords = [stopwords.strip() for stopwords in fp_stop.readlines()]
for text in fp.readlines() :
if text.strip() and news_count < 1000:
label,news = text.strip().split('\t')
news_list.append([char.strip() for char in list(news) if char not in dict_stopwords])
news_count += 1
print("读取了cnews.train.txt 中的"+str(news_count)+"条新闻。\n")
fp_stop.close()
fp.close() # 统计并查看这些新闻中所有的字的个数
# 其实对于这个问题而言不重要
counter = Counter(list(chain.from_iterable(news_list)))
char_count = len(counter)
print(str(news_count)+"条新闻中有"+str(char_count)+"个不同的字。\n") #用keras进行one-hot编码,取前1000个频率最高的字作为字典
tokenizer=Tokenizer(num_words=1000)
tokenizer.fit_on_texts(news_list)
one_hot_results = tokenizer.texts_to_matrix(news_list,mode='binary') #直接由[['马', '晓', '旭', '意', ...],..[]]得到one-hot矩阵,还是方便。
print("独热编码后每条新闻的向量长度为:", one_hot_results.shape[1],'\n') # 用numpy把array数组保存,方便下次再以arry的格式打开,而不是字符串格式。
np.savetxt(text_path+"cnews_one_hot.txt",one_hot_results,fmt="%d")
fout.close() # 将保存的array数组文件打开
news_one_hot = np.loadtxt(text_path+"cnews_one_hot.txt",dtype=float)
print("数据的格式为", type(news_one_hot))

打印的内容:

读取了cnews.train.txt 中的1000条新闻。

1000条新闻中有3164个不同的字。

独热编码后每条新闻的向量长度为: 1000 

数据的格式为 <class 'numpy.ndarray'>

第一篇文本的one-hot:

文本离散表示(二):新闻语料的one-hot编码

参考资料:

《Python深度学习》