会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
王冰冰
博客园
首页
新随笔
联系
订阅
管理
2022年7月29日
tokenize embeding word2wec...词表,词嵌入,分词...都是干什么的
摘要: 在NLP任务中,输入的大多是一个句子,多个句子组成一个batch。模型本身不能直接处理文本,所以需要先把文本转化成数字。流程大多数是: 分词->构建词表->词嵌入 分词 分词是将一个句子拆分成一个个单词/短语,这些单词/短语称为token,分词被叫做tokenize。 tokenize的粒度有wor
阅读全文
posted @ 2022-07-29 18:09 王冰冰
阅读(333)
评论(0)
推荐(0)
编辑
公告