真 随笔

20220801

是否可以通过大规模预训练语言模型，搭建出一个对话相关的Robot，可以在各大平台直播，根据弹幕的内容进行选择性或者完全恢复，另外也可以根据弹幕等改变聊天对话方向等。
1、目前已经可以实现实时读取弹幕，GitHub应该有很多开源；
2、对话技术也愈发成熟；

---

另外，BERT 还有一个至关重要的训练技巧，就是调整学习率。BERT内的参数在 fine-tuning 时，学习率一定要调小，特别时后面还接了别的东西时，一定要按两个学习率走，甚至需要尝试多次反复调，要不然 BERT 很容易就步子迈大了掉沟里爬不上来，个人经验

参数优化时分两个学习率，实现起来就是这样

啊 记住了

没有切肤之痛，何来感同身受。——冲吧

真的要放弃冲大厂了呀，对学校的要求，局限性很大的，，上两次的机会没有把握住，已经是没有多少机会了。——20220222

ALBERT 和 BERT 的区别

How to complete a paper???????????

语言训练模型方式：
https://www.cnblogs.com/yanqiang/p/13529299.html
面试汇总：大佬的一个汇总，记录一下
https://www.cnblogs.com/yanqiang/p/14642925.html

关于load_dataset的详细使用方法，结合huggingface使用。
https://blog.csdn.net/qq_56591814/article/details/120653752