BERT和ALBERT区别

1.ALBERT解决问题

（1）问题

深度学习圈子里一直出现了一些“怪象”，就是堆数据，让模型更复杂，训练出来的效果更好！

之前的BERT，XLNet为什么效果好？ 这绝对离不开模型本身的复杂度，一个模型拥有上百亿的参数，效果不好就太对不起我们的资源了。

（2）解决

ALBERT试图解决上述的问题： 1. 让模型的参数更少 2. 使用更少的内存 3. 提升模型的效果。

 

 

 

 

 

参考：

https://zhuanlan.zhihu.com/p/84559048

https://blog.csdn.net/chaojianmo/article/details/104061718/