2022年6月9日

【动手学深度学习pytorch】学习笔记 8.3 语言模型和数据集

摘要： 8.3. 语言模型和数据集 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 这一小节有一定难度，需要耐心阅读。 主要讲了三段程序 ：自然语言统计；读取长序列数据；数据迭代器 自然语言统计 知识点：n元语法。属于NLP基础。 简单地说，一元语法就是考虑“自己” 阅读全文

posted @ 2022-06-09 23:54 HBU_DAVID 阅读(281) 评论(0) 推荐(0) 编辑

扩展学习： 中文分词；词云制作

摘要： 中文分词工具有很多，这里选择使用jieba jieba · PyPI wordcloud安装时候需要注意版本号 pip安装wordcloud出错 ERROR: Command errored out with exit status 1:_密言的博客-CSDN博客_pip安装wordcloud 出错 阅读全文

posted @ 2022-06-09 15:48 HBU_DAVID 阅读(80) 评论(0) 推荐(0) 编辑

【动手学深度学习pytorch】学习笔记 8.2 文本预处理

摘要： 8.2. 文本预处理 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 1. 改写为读本地文件 2. 增加更多输出项，研究内部结构 编程环境：pycharm，python 3.9 将文本作为字符串加载到内存中。 将字符串拆分为词元（如单词和字符）。 建立一个词 阅读全文

posted @ 2022-06-09 11:52 HBU_DAVID 阅读(264) 评论(0) 推荐(0) 编辑

导航