摘要：
期望的公式扩展 一阶矩就是期望值，换句话说就是平均数(离散随机变量很好理解，连续的可以类比一下)。举例：xy坐标系中，x取大于零的整数，y1, y2, ...,yn 对应x=1, 2,..., n的值，现在我要对y求期望，就是所有y累加除以n，也就是y的均值。 此时y的均值我可以在坐标系中画一条线， 阅读全文
摘要：
这篇博客是在pytorch中基于apex使用混合精度加速的一个偏工程的描述，原理层面的解释并不是这篇博客的目的，不过在参考部分提供了非常有价值的资料，可以进一步研究。 一个关键原则：“仅仅在权重更新的时候使用fp32，耗时的前向和后向运算都使用fp16”。其中的一个技巧是：在反向计算开始前，将dlo 阅读全文
摘要：
文章目录基本介绍BertForTokenClassificationpytorch-crf实验项目参考基本介绍命名实体识别：命名实体识别任务是NLP中的一个基础任务。主要是从一句话中识别出命名实体。比如姚明在NBA打球 从这句话中应该可以识别出姚明(人), NBA(组织)这样两个实体。常见的方法是对 阅读全文
ipykernel_launcher.py: error: unrecognized arguments: -f /Users/apple/Library/Jupyter/runtime/kernel
摘要：
当在jupyter下使用parser.parse_args()出错则改换为parser.parse_known_args()[0]其效用是差不多的，至于为什么出现错误，我也不知道… 阅读全文
摘要：
其他：windows使用nvidia-smi查看gpu信息 为什么将数据转移至GPU的方法叫做.cuda而不是.gpu，就像将数据转移至CPU调用的方法是.cpu？这是因为GPU的编程接口采用CUDA，而目前并不是所有的GPU都支持CUDA，只有部分Nvidia的GPU才支持。PyTorch未来可能 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/46997268 NLP突破性成果 BERT 模型详细解读 章鱼小丸子 不懂算法的产品经理不是好的程序员 关注她 82 人赞了该文章 Google发布的论文《Pre-training of Deep Bidirectional Transf 阅读全文