基于BERT进行文本分类

基于BERT模型微调，参考：

基于 BERT 实现的情感分析(文本分类)----概念与应用--Java,.Net,Python,Javascript,Vue,数据库程序教程 (zlprogram.com)

https://www.cnblogs.com/hcxss/p/15894028.html

https://www.jianshu.com/p/8e9cb065a0c8

https://www.zhihu.com/question/484014824/answer/2351817012?utm_id=0

https://github.com/yyxx1997/pytorch/tree/master/bert-sst2

重要：
自然语言处理项目实战：基于Transformer和BERT模型实现情感分析，原理详解+项目实战！（人工智能/深度学习）
https://www.bilibili.com/video/av699008596/
李沐的深度学习课
https://time.geekbang.org/course/detail/100077201-380442?utm_source=related_read&utm_medium=article&utm_term=related_read

pytorch中验证cuda是否可用：pytorch安装后提示找不到GPU，torch.cuda.is_available()返回False

安装Pytorch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -i https://mirrors.aliyun.com/pypi/simple

安装CUDA使用GPU训练模型——python3.6,tensorflow-gpu 1.15.0,cuda 10.0_cuda 模型训练_pollotui的博客-CSDN博客

BERT微调脚本中的参数是什么意思

python run_classifier.py ^
  --data_dir=data ^
  --task_name=sim ^
  --vocab_file=chinese_L-12_H-768_A-12/vocab.txt ^
  --bert_config_file=chinese_L-12_H-768_A-12/bert_config.json ^
  --output_dir=sim_model ^
  --do_train=true ^
  --do_eval=true ^
  --init_checkpoint=chinese_L-12_H-768_A-12/bert_model.ckpt ^
  --max_seq_length=70 ^
  --train_batch_size=256 ^
  --learning_rate=5e-5 ^
  --num_train_epochs=3.0

这些训练参数的含义如下：

--data_dir=data：指定数据目录，该目录包含用于训练与评估的数据。
--task_name=sim：指定任务名称，该名称用于识别要执行的特定任务，这里的 sim 表示文本相似度任务。
--vocab_file=chinese_L-12_H-768_A-12/vocab.txt：指定词汇表文件的路径，该文件包含了模型所需的词汇表。
--bert_config_file=chinese_L-12_H-768_A-12/bert_config.json：指定 BERT 模型配置文件的路径，该文件包含了模型的参数设置。
--output_dir=sim_model：指定输出目录，训练过程中生成的模型和评估结果将被保存在该目录下。
--do_train=true：指定是否执行训练操作，设为 true 表示执行训练。
--do_eval=true：指定是否执行评估操作，设为 true 表示执行评估。
--init_checkpoint=chinese_L-12_H-768_A-12/bert_model.ckpt：指定初始模型的路径，该模型将作为训练的起点。
--max_seq_length=70：指定输入序列的最大长度，超过该长度的序列会被截断。
--train_batch_size=32：指定训练时的批次大小，每个批次中包含的样本数量为 32。
--learning_rate=5e-5：指定学习率，用于控制参数更新的步幅。
--num_train_epochs=3.0：指定训练的轮数，即数据集完整遍历的次数

解决github时而能访问，时而不能访问的问题

在hosts中配置 20.205.243.166  github.com

带解决的问题

tensorflow版本

训练输出checkpoint文件大小

如何保证训练次数

如何可可视化
为什么BERT训练过程不适用GPU和显存， 而是使用的CPU和内存
intention 机制
安装win11专业版（带Hyper-V）