Bert源码解读（二）

# Bert源码解读（二）

## 一、速读Bert


 

Bert预训练部分是在做自注意力。

分类器微调部分就是一层神经网络。

分离矩阵得到起始值和终止值得概率矩阵。

 

**用run_classifier.py，整个50万样本量，微调阶段训练时间约为半个小时。**

 

## 二、注意的要点

1.官网源码中给出的是TPU estimator接口，需要改成普通estimator接口方案。

参考博客：http://shzhangji.com/cnblogs/2018/05/14/serve-tensorflow-estimator-with-savedmodel/

 

2.**Out of Memory问题**

调节两个参数**`max_seq_length`和`train_batch_size`**，分别是最长句子的长度和一次批处理的大小，训练的观察 GPU显存的占用情况 。

 

## 三、Bert as service

Bert的预训练模型部分可以部署。源码中的亮点有提供了图优化方法，包括的过程有：动态图计算--图冻结、剪枝和量化。还有zeromq进行异步并发请求，进行服务化部署。

 

## 四、总结

Bert的泛化能力很强。我们可以加强学习。

**较低成本实践Bert的路径：**

第一步：有GPU，一般是28GB左右。

第二步：确定一个数据集和确定自己的训练任务。

第三步：修改代码，调参，验证效果。

 

参考博客：https://zhuanlan.zhihu.com/p/58471554