08 2021 档案
摘要：作者：常青链接：https://www.zhihu.com/question/29528198/answer/2090551259来源：知乎 一：做事的一些原则 1.凡做事，必有方法。 （绝不依赖于感觉做事是我给自己卡的标准，我会强制让自己思考和提炼出科学的方法，SOP流程，通用原则等，做事我追求的
阅读全文
摘要：[ ]+的意思是大于0取原值，小于0则取0。这叫做合页损失函数，训练方法叫做margin-based ranking criterion。此loss函数来自SVM，目的是将正和负尽可能分开。一般margin=1。 其中d是L1或L2的距离，表示h+r向量与t向量之间的距离。 资料：https://w
阅读全文
摘要：torch.nn.Module.apply(fn) # 递归的调用weights_init函数,遍历nn.Module的submodule作为参数 # 常用来对模型的参数进行初始化 # fn是对参数进行初始化的函数的句柄,fn以nn.Module或者自己定义的nn.Module的子类作为参数 # f
阅读全文
摘要：如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差；而对于D
阅读全文
摘要：A command-line interface is provided to convert original Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM checkpoints in models than be loaded using the from_p
阅读全文
摘要：1.肯定自己， 无惧打压，比你厉害的多的人没工夫 顾及你，打压你的人， 多是因为你快 要超过他们，更应该一鼓作气扳倒他们。 2.精简念头，少欲则刚，不要 想着这个又想着那个， 集中能量精准打击，取得一一样后， 再谋下一样。 3.遇强则强，敢于为强者所为，学习他们身上的优点， 模仿复制再创新，以此为动
阅读全文
摘要：最近也看了一些博客中的方法，不准备造轮子了，拿来主义使用当先。 几个参考： https://spaces.ac.cn/archives/4176 https://mp.weixin.qq.com/s?__biz=MzUyMDY0OTg3Nw%3D%3D&idx=1&mid=2247483824&sc
阅读全文
摘要：中文维基百科：高质量、易获取的语料，相当厚道，每月把所有条目都打包一次，爱我大维基。百度百科、互动百科 差评！ 源数据下载地址：https://dumps.wikimedia.org/zhwiki/ 数据抽取脚本： from gensim.corpora.wikicorpus import extr
阅读全文
摘要：参考博客： https://www.ruilog.com/notebook/view/7287471fa6e0.html https://kavita-ganesan.com/how-to-incorporate-phrases-into-word2vec-a-text-mining-approac
阅读全文