摘要：
摘要：实际项目中需要将BERT线上化需要使模型又快又好的训练，所以经过调研使用目前BERT最新的派生产品ALBERT。ALBERT通过因式分解和共享层与层之间的参数减少了模型参数量，提升了参数效率；通过SOP替代NOP，增强了网络学习句子的连续性的能力，提升了自监督学习任务的能力；通过去掉dropout可以节省很多临时变量，有效提升模型训练过程中内存的利用率，提升了模型的效率，减少了训练数据的规模。最后将项目中的句子关系判断任务改造成我们实际项目中的文本分类任务用于实际业务需求。可以说是有理论，帮助小伙伴们理解ALBERT为啥训练快了，效果还不错。也有实践，如果需要使用ALBERT做文本分类任务，直接用我改造好的脚本和代码跑起来就行。 阅读全文