FastCorrect&Fairseq学习笔记
一 工作说明：
FastCorrect，字面意思就是快速纠错；这项主要是对asr的识别结果进行纠错，提升识别率；
目前大部分的纠错模型采用了基于注意力机制的端到端自回归模型（seq2seq model to correct an ASR output sentence autoregressively）结构。这种结构延迟较大；为此，微软亚洲研究院机器学习组与微软 Azure 语音团队合作，推出了 FastCorrect 系列工作，提出了低延迟的纠错模型；相关研究论文已被 NeurIPS 2021 和 EMNLP 2021 收录；
Fairseq，是一个开源的序列建模工具，由Facebook AI Research于2017年9月推出，Fairseq基于python&pytorch，更加简单，人性化；主要应用场景是nlp任务，支持多种常用模型；
FastCorrect就是基于Fairseq工具进行训练的模型；
本文记录FastCorrect的学习过程，中间对机器学习，Fairseq的学习，理解和记录；初入此道，欢迎讨论；
FastCorrect git：https://github.com/microsoft/NeuralSpeech/tree/master/FastCorrect
Fairseq git：https://github.com/facebookresearch/fairseq
Fairseq 文档：https://fairseq.readthedocs.io/en/latest/command_line_tools.html
二 Fairseq训练流程&核心代码阅读：
1 训练命令解读：
训练命令：
fairseq-train $DATA_PATH --task fastcorrect \
--arch fastcorrect --lr 5e-4 --lr-scheduler inverse_sqrt \
--length-loss-factor 0.5 \
--noise full_mask \
--src-with-werdur \
--dur-predictor-type "v2" \
--dropout 0.3 --weight-decay 0.0001 \
--optimizer adam --adam-betas '(0.9, 0.98)' --clip-norm 0.0 \
--criterion fc_loss --label-smoothing 0.1 \
--max-tokens 9000 \
--werdur-max-predict 3 \
--assist-edit-loss \
--save-dir $SAVE_DIR \
--user-dir $EXP_HOME/FastCorrect \
--left-pad-target False --left-pad-source False \
--encoder-layers 6 --decoder-layers 6 \
--max-epoch 30 --update-freq 4 --fp16 --num-workers 8 \
--share-all-embeddings --encoder-embed-dim=512 --decoder-embed-dim=512
这个命令的含义，可以自己去查Fairseq的文档，这里罗列出来：
--task，意思是任务类型，默认是“translation”（翻译）；包括translation_from_pretrained_bart等Fairseq自带的任务类型，这里设置为本任务fastcorrect ；
--arch，意思是model architecture，模型结构，可选项包括，transformer，lstm等；这里采用自带的结构fastcorrect
--lr 学习率，为初始学习率，后续可能被--lr-scheduler修改；--lr-scheduler 是lr更新计划，这里采用inverse_sqrt 方法；
--length-loss-factor 0.5
--noise full_mask
--src-with-werdur
--dur-predictor-type "v2"
--dropout 字面意思就是丢弃，这里指的是在训练模型时，丢弃一部分数据来防止过拟合；
--weight-decay
--optimizer adam --adam-betas '(0.9, 0.98)' 参数优化策略；
--clip-norm 0.0
--criterion fc_loss 训练准则；
--label-smoothing 0.1
--max-tokens 9000 一个batch最大的token数量；
--werdur-max-predict 3
--assist-edit-loss
--save-dir $SAVE_DIR 存储checkpoints的路径，checkpoint即模型；
--user-dir $EXP_HOME/FastCorrect 一个包含扩展的python模块，这里的扩展是指模型结构或者任务，和task是相对的，一般不适用官方规定的arch时需要手动设置这个路径；
--left-pad-target False --left-pad-source False
--encoder-layers 6 --decoder-layers 6
--max-epoch 30 当达到这个30个epoch的时候，停止训练；
--update-freq 4 参数更新频率，每4个batch更新参数；
--fp16 使用FP16
--num-workers 8 8个子线程用于load数据；
--share-all-embeddings
--encoder-embed-dim=512 --decoder-embed-dim=512
