摘要：
1.查看当前的版本： pip show xxx 2.降低 pip install -U transformers==4.33.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 还有一种办法，比较暴力： 先卸载再安装，嘿嘿！！！ pip uninstall n 阅读全文
摘要：
基础组件之Tokenizer Tokenizer简介 数据预处理 Step1 分词：使用分词器对文本数据进行分词(字、字词); Step2 构建词典：根据数据集分词的结果，构建词典映射(这一步并不绝对，如果采用预训练词向量，词典映射要根据词向量文件进行处理); Step3 数据转换：根据构建好的词典 阅读全文