TF-IDF 学习
参考资料, 阮一峰的博客 http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
非常感谢他, 能用如此通俗易懂的文字来阐述概念
TF -- Term Frequency -- 词频 = 某词在文档中的出现频率/文档的总词数
IDF -- Inverse Document Frequency -- 逆文档频率 = log(语料库的文档总数/(包含该次的文档数 + 1)) 如果词越常见则IDF越接近于0
TF-IDF = TF * IDF 与一个词在文档中的出现次数成正比,与该词在整个语料库中的出现次数成反比。
打算自己用python写点代码测试一下, 不知道工作量大不大
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步