2019年3月16日
文本预处理之去除emoji以及指定文本类型筛选
摘要： 批量删除指定文本 之前的keyword就不要了，准备删除掉，写了个脚本，批量删除keyword.txt结尾的文件 去除emoji 在之前的文本预处理工作之中，我只是简单的进行了jieba分词，然后效果很不好，里面有很多的乱码，经过调查，乱码来源如下： 一个是emoji，一个是非gbk字符 针对我们目 阅读全文
posted @ 2019-03-16 15:47 Harry666 阅读(649) 评论(0) 推荐(0) 编辑