随笔分类 - 自然语言

ChatGLM 模型部署

摘要：ChatGLM 模型部署模型地址： huggingface：https://huggingface.co/THUDM/chatglm3-6b modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 搭建环境 # 下载代阅读全文

posted @ 2023-12-07 10:38 idazhi 阅读(224) 评论(0) 推荐(0) 编辑

使用预训练语言模型作帖子分类

摘要：预训练语言模型PLMs或PTMs应用广泛且效果良好。有的文章中把自然语言处理中的预训练语言模型的发展划分为4个时代:词入时代，上下文嵌入(Context Word Embedding)时代、预训练语言模型时代、改进型和领域定制型时代。为什么需要预训练模型通常需要非常大的参数量，但并不阅读全文

posted @ 2023-12-07 09:17 idazhi 阅读(77) 评论(0) 推荐(0) 编辑

rnn完成帖子分类

摘要：数据使用的数据来自某高校的论坛，使用爬虫爬取两个模块爬虫使用requests库发送HTTPS请求，爬取上述两个板块各80页数据，包含3000个帖子，再使用BeautifulSoup解析HTML内容，得到帖子标题 import requests from bs4 import Beauti 阅读全文

posted @ 2023-12-07 09:15 idazhi 阅读(42) 评论(0) 推荐(0) 编辑

语言模型与语法树

摘要：week1 语言模型与语法树基于规则的语言模型 import random def adj(): ###随机选取一个 return random.choice('蓝色的 | 好看的 | 小小的'.split('|')).split()[0] def adj_star(): ####返回一个adj( 阅读全文

posted @ 2023-04-15 12:36 idazhi 阅读(83) 评论(1) 推荐(0) 编辑

自然语言习题

摘要：词典分词关于字典树的操作，下列说法正确的有哪些？ A添加节点需要在无法继续遍历时创建子节点 B修改节点需要先查询到目标位置，并将值替换 C查询节点是核心操作，等价于树的遍历 D删除节点需要先查询到终点位置，并将终止标记删除答案：ABCD A. 添加节点需要在无法继续遍历时创建子节点：这是字典树的阅读全文

posted @ 2023-04-04 22:49 idazhi 阅读(72) 评论(0) 推荐(0) 编辑