随笔分类 - NLP
摘要:bert微调步骤: 首先从主函数开刀: copy run_classifier.py 随便重命名 my_classifier.py 先看主函数: if __name__ == "__main__": flags.mark_flag_as_required("data_dir") flags.mark
阅读全文
摘要:在进行jieba分词时,进行用户字典编写,会对分词进行个性化定制 一般而言,通过用户词典的方法能够对分词产生更具优秀的效果,尤其是在细粒度划分词句时候 添加用户词典的具体方法为:建立userdict的txt文本文件,每个词汇占据一行(每行可以有词汇,词频(可省略),词性(可省略))。用户词典具有强调
阅读全文
摘要:在进行自然语言处理时候,遇到如下错误: 进行词语切分后,使用tfidf做词频矩阵,导致程序报出错误:MemoryError 报错原因:文本条数过大,导致内存超载,在这里 File "C:/Users/Administrator/Desktop/temp.py", line 49, in <modul
阅读全文