在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时，选择了一个有3G多的txt文件，之前在做词向量时用的是word2vec，所以直接导入模型然后indexword即可。
因为这是一个txt大文件，尝试了DataFrame，np.loadtxt等，都没有成功，其中主要遇到的问题是：
- 如何读取完整的大文件，而不会出现内存不足memery error等问题
- 将读取出来的文件，保存为npy文件
- 根据词找到对应的向量
解决办法：
尝试使用的代码：
|
1
2
3
4
5
6
7
|
代码1:
try:
lines=np.loadtxt(filepath)
catch:
感觉这块不会写了咦，，，
print(ValueError)
但这样的话，它就不会继续循环去读上边的txt了呢
|
|
1
2
3
4
5
6
|
代码2：
lines=[]
with open(filepath) as f:
for line in f:
lines.append(line)
np.save(filepath,lines)
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
代码3
def readEmbedFile(embedFile):
# embedId = {}
# input = open(embedFile,'r',encoding="utf-8")
# lines = []
# a=0
# for line in input:
# lines.append(line)
# a=a+1
# print(a)
# nwords = len(lines) - 1
# splits = lines[1].strip().split(' ') # 因为第一行是统计信息，所以用第二行
# dim = len(splits) - 1
# embeddings=[]
# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]
# b=0
# for lineId in range(len(lines)):
# b=b+1
# print(b)
# splits = lines[lineId].split(' ')
# if len(splits) > 2:
# # embedId赋值
# embedId[splits[0]] = lineId
# # embeddings赋值
# emb = [float(splits[i]) for i in range(1, 300)]
# embeddings.append(emb)
# return embedId, embeddings
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
代码4：
def load_txt(filename):
lines=[]
vec_dict={}
with open(filename,r) as f:
for line in f:
list=line.strip()
lines.append(line)
for i, line in emuate(lines):
if i=0:
continue
line=line.split(" ")
wordID=line[0]
wordvec=[float line[i] for i in range(1,300)]
vec_dict[wordId]=np.array(wordvec)
return vec_dict
|
具体内存不足主要的原因是：
我的虚拟机中确实内存不太够，后来使用实验室32G的主机后，可以得到idvec，而得不到向量的，报的错还是memory error.
另一个原因，是需要把词向量转换为float形式，在python中str 占的内存>float类型，如代码所示：
|
1
2
3
4
5
6
|
print("str",sys.getsizeof(""))
print("float",sys.getsizeof(1.1))
print("int",sys.getsizeof(1))
print("list",sys.getsizeof([]))
print("tuple",sys.getsizeof(()))
print("dic",sys.getsizeof([]))
|
|
1
2
3
4
5
6
|
str 49
float 24
int 28
list 64
tuple 48
dic 64
|
在我的电脑，64位操作系统，64位的python, 所占内存大小排序为：
dic=list>str>tuple>int>float
读取时候可以用np.load().item就可以复原原来的字典，主要参照下述文件：
然后通过python的字典操作就可以遍历得到每个词的词向量了，dic[vocab]
心得：
距离完全解决项目的问题还有5~6的大关卡,但静下心来，一步步地做总会突破的呀！
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/weixin_38527856/article/details/90704116