11 2021 档案

NLP（三十九）：用tf-idf+xgboost进行文本分类
摘要：一、xgboost类库实用小结 在XGBoost算法原理小结中，我们讨论了XGBoost的算法原理，这一片我们讨论如何使用XGBoost的Python类库，以及一些重要参数的意义和调参思路。 本文主要参考了XGBoost的Python文档 和 XGBoost的参数文档。 1. XGBoost类库概述 阅读全文
posted @ 2021-11-15 10:39 jasonzhangxianrong 阅读(2044) 评论(0) 推荐(0) 编辑
NLP：xgboost
摘要：一、将收集到的语料进行文本预处理 1）train.txt预处理为train.csv，格式为id，内容，标签 使用excel打开train.txt然后选择分隔符为英文逗号，这样内容在一列，然后再为他们添加id，从1-900，接着添加标签，0，1，2分别表示财经，体育，军事。最后另存为csv文件。 2） 阅读全文
posted @ 2021-11-11 15:51 jasonzhangxianrong 阅读(189) 评论(0) 推荐(0) 编辑
NLP(三十八)：tfidf_CountVectorizer 与 TfidfTransformer 保存和测试
摘要：做nlp的时候，如果用到tf-idf，sklearn中用CountVectorizer与TfidfTransformer两个类，下面对和两个类进行讲解 一、训练以及测试 CountVectorizer与TfidfTransformer在处理训练数据的时候都用fit_transform方法，在测试集用 阅读全文
posted @ 2021-11-11 10:52 jasonzhangxianrong 阅读(495) 评论(0) 推荐(0) 编辑