合集-自然语言处理骨灰级入门
摘要：1.1 语言的基本组成要素——词汇 1.1.1 语言的组成要素 无论是人类学习语言，还是让机器学习人类语言，在面对一门语言时，我们总是先记住一些常用词，然后是语法和基本句型，再然后结合到具体的篇章、对话的语境中学习。可以说，语言是由字符、词汇、语法、语义、语境等多个元素相互作用的结果。如果聚焦到某个
阅读全文
摘要：2.1 语言模型 2.1.1 语言是可计算的 第一章里面我们讲了语言的分析要素。很多东西其实还是传统语言学里面的定义，只不过我们通过一些案例比如CRF、文法等内容给大家展示了语言是可以被数学建模的。那么，这种低层级的语法解析是如何与高等级的对话式大模型联系起来的呢？这种层级的数学建模显然不能让机器充
阅读全文
摘要：3.1 文本分类 3.1.1 文本分类 文本分类任务其实我们应该是相对比较熟悉的。毕竟学习机器学习的第一课就是做分类任务嘛，把文本分成若干类。它和聚类还有些不同的地方，这个我们后面会讲。那分类把文本能分成哪几类呢？比如，邮箱可以把邮件分成正常邮件和垃圾邮件；新闻会把文章分区为体育/娱乐/政治/经济/
阅读全文
摘要：4.1 对话与问答 4.1.1 问答系统 问答系统（Question Answering System，QA System）是人工智能与自然语言处理领域的重要研究方向，旨在通过计算机技术实现对人类自然语言提问的精准理解与高效响应。与传统的搜索引擎不同，问答系统不仅需要检索相关信息，还需对问题进行语义
阅读全文
摘要：5.1 大语言模型的使用 5.1.1 大语言模型的API调用与本地化部署 前面这么多NLP的任务、话题我们都是用网页版应用在测试，那我们怎么用代码调用大模型呢？最快的一个办法当然是用API调用了。首先，进入deepseek的API申请页面申请自己的API：https://platform.deeps
阅读全文
摘要：搜广推业务 信息检索 搜索、广告和推荐是很多互联网大厂赖以生存的命脉。比如，百度的搜索引擎、京东淘宝的推荐系统、腾讯的广告业务等。这一节我们就看看搜广推业务当中的自然语言处理方法。 1. 什么是信息检索 信息检索（Information Retrieval，IR）是指从大量的非结构化或半结构化数据中
阅读全文
