高效读取词向量的方法

当我们训练的词向量保存为txt时候,如果不是直接读取到内存,找对应词的向量,这样会非常耗时

  方法1.用gensim读取成model的形式,从内存中获得数据

  方法2.读取txt文件,用enumerate()将数据放到字典里面,后期查找的时候用这个字典,主要代码如下:

1     for i, line in enumerate(codecs.open(emb_path, 'r', 'utf-8')):
2         line = line.rstrip().split()
3         if len(line) == word_dim + 1:
4             pre_trained[line[0]] = np.array(
5                 [float(x) for x in line[1:]]
6             ).astype(np.float32)
7         else:
8             emb_invalid += 1

 

posted @   今夜无风  阅读(591)  评论(0编辑  收藏  举报
编辑推荐:
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
阅读排行:
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· 上周热点回顾(2.24-3.2)
历史上的今天:
2017-12-20 类和数据库的扫盲
2017-12-20 深入理解SQL的四种连接-左外连接、右外连接、内连接、全连接(经典)
点击右上角即可分享
微信分享提示