摘要：
自然语言难在哪？ 自然语言特点： 1、创新性，新词旧词；2、递归性；递归性为语言带来精确表达的能力；3、多义性，自然语言包含多粒度语言单位：字、词、短语、句子、语篇。自然语言理解的关键目标是自动消歧；4、主观性，与个体的社会阅历相关；5、社会性，社会结构影响人类语言 二、自然语言的未来 1、深度学习 阅读全文
摘要：
ALbert第一作者蓝振忠解说： ALBERT的提出就是为了给BERT瘦身，让模型更大的BERT有算力能跑起来。作者通过权值共享和矩阵分解减少参数。降低了空间复杂度，但计算量并没有减少，所以在模型进行下游任务和预测的时候并不会更快。所以作者说现在优化BERT的方法也是往时间复杂度的方向优化。 ALB 阅读全文