随笔分类 - nlp与推荐
摘要：在nlp的数据预处理中，我们通常需要根据原始数据集做出如题目所示的三种结构。但是新手（我自己）常常会感到混乱，因此特意整理一下 1.词库 词库是最先需要处理出的数据形式，即将原数据集按空格分词或者使用分词的包如jieba等，将原始文章分割成一个个词语所表示的list，一般是一维或者二维的，二维词库往
阅读全文
摘要：TF-IDF定义及实现 定义 TF-IDF的英文全称是：Term Frequency - Inverse Document Frequency,中文名称词频-逆文档频率，常用于文本挖掘，资讯检索等应用，在nlp以及推荐等领域都是一个常用的指标，用于衡量字词的重要性。比较直观的解释是，如果一个词本
阅读全文
