领域数据下重新预训练模型和原始bert性能分析

一个观点：在所属领域内重新对bert模型做预训练后，对于下游任务性能必定会带来提升。

实验：观察在下游ner任务中的loss变化情况

1）原始bert

全局评估：{'acc': 0.7899749373433584, 'recall': 0.7831704488984595, 'f1': 0.7865579770420896} 

 

 2）再次预训练bert

 全局评估：{'acc': 0.7769423558897243, 'recall': 0.770250124233891, 'f1': 0.7735817667609381}

结论：经过预训练过后的loss变化是否更好，更平滑？ 但是指标都降了一个点啊，因该是我的预训练太少导致（50w，15G），记下来扩充数据继续看效果

 

 

未完，，，