随笔分类 -  NLP

自然语言处理相关知识
NLP(五)
摘要:训练数据中出现了没见过的数据 Good-Turning Smoothing 假设你在钓鱼,已经抓到了18只鱼:10条鲤鱼,3条黑鱼,2条刀鱼,1条鲨鱼,1条草鱼,1条鳗鱼...... 下一个钓到的鱼是鲨鱼的概率? 18条鱼中有一条鲨鱼,1/18 下一条鱼是新鱼种(之前没出现过)的概率是多少? 近似的 阅读全文

posted @ 2020-07-02 16:42 AI数据 阅读(171) 评论(0) 推荐(0) 编辑

NLP(四)
摘要:一、Noisy Channel Model 应用场景: 语音识别,机器翻译,拼写纠错,OCR,密码破解 上面场景共同点是将信号转为文本 二、Language Model 用来判断一句话从语法上是否通顺 一个已经训练好的语言模型可以通过概率进行判断: 如何训练模型? 语言模型的目标 Chain Rul 阅读全文

posted @ 2020-04-30 18:45 AI数据 阅读(224) 评论(0) 推荐(0) 编辑

NLP(三)
摘要:一、文本的表示 词表示 词典:[我们, 去, 爬山, 今天, 你们, 昨天, 跑步] One-Hot representation 每个单词的表示: 我们: [1, 0, 0, 0, 0, 0, 0]爬⼭: [0, 0, 1, 0, 0, 0, 0]运动: [0, 0, 0, 0, 0, 0, 1] 阅读全文

posted @ 2020-04-02 18:15 AI数据 阅读(363) 评论(0) 推荐(0) 编辑

NLP(二)
摘要:本节内容: 分词 拼写纠错 停用词过滤 词的标准化 智能客服 根据问题相似度去回答 正则 适合没数据的时候使用 计算字符串的相似度 基于搜索的问答系统 知识库中存储着问题和答案,根据相似度搜索最相似的问题,返回其答案 输入句子 分词 预处理 拼写纠错 Lemmatisation(词性还原)/ Ste 阅读全文

posted @ 2020-02-20 22:30 AI数据 阅读(231) 评论(0) 推荐(0) 编辑

NLP(一)
摘要:19-21周,每周学习15小时以上 基础:Python编程基础;基础的概览统计、了解线性代数;足够的时间投入。 完成9个课程项目,每个5小时-15小时 完成聊天机器人项目(40-80小时) Capstone项目(40-100小时) 至少6篇技术博文 个人github满足标准 期中、期末考试,一周一次 阅读全文

posted @ 2019-12-24 17:22 AI数据 阅读(541) 评论(0) 推荐(0) 编辑

NLP常用Python开发工具
摘要:一、Numpy NumPy系统是Python的一种开源的数值计算包。 包括: 1、一个强大的N维数组对象Array; 2、比较成熟的(广播)函数 库; 3、用于整合C/C++和Fortran代码的工具包; 4、实用的线性代数、傅里叶变换和随机数生成函数。 numpy和稀疏矩阵运算包scipy配合使用 阅读全文

posted @ 2019-09-22 23:06 AI数据 阅读(856) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示