摘要:
1.numpy.loadtxt() https://www.jianshu.com/p/ef37f739b531 np.loadtxt()用于从文本加载数据。文本文件中的每一行必须含有相同的数据。 阅读全文
摘要:
参考: https://blog.csdn.net/csdn_yi_e/article/details/71037288 https://blog.csdn.net/qq_42739440/article/details/89887451 1.chardet判断编码类型 import chardet 阅读全文
摘要:
1. torch.autograd.detect_anomaly() 转自点击 , import torch # 正向传播时:开启自动求导的异常侦测 torch.autograd.set_detect_anomaly(True) # 反向传播时:在求导时开启侦测 with torch.autogra 阅读全文
摘要:
1. rsession-which-r https://docs.rstudio.com/ide/server-pro/r-sessions.html rsession-which-r=/usr/local/bin/R 更改R的位置 2.多版本R的安装 https://docs.rstudio.co 阅读全文
摘要:
1.IO流 它们是输入输出流, https://stackoverflow.com/questions/3385201/confused-about-stdin-stdout-and-stderr 当程序需要输入和输出以及记录错误时,就可以使用上面的三个输出输出流,它们不用担心是否连接到了键盘或者是 阅读全文
摘要:
1.tqdm是什么? https://github.com/tqdm/tqdm 简单来说,就是可以显示进度条的,它能够迭代可迭代对象。 然后又测试它是否能用枚举: 感觉不行,打印不了进度条了。 2.例子 https://stackoverflow.com/questions/42212810/tqd 阅读全文
摘要:
1.torch.nn.utils.clip_grad_norm_ https://pytorch.org/docs/master/generated/torch.nn.utils.clip_grad_norm_.html 根据梯度的范数值进行削减, https://stackoverflow.com 阅读全文
摘要:
1.百面机器学习中的讲解 Dropout是指在深度网络的训练中, 以一定的概率随机地 “临时丢弃”一部分神经元节点。 相当于每次迭代都在训练不同结构的神经网络。 类比于Bagging方法, Dropout可被认为是一种实用的大规模深度神经网络的模型集成算法。 因此, 对于包含N个神经元节点的网络, 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/79714797,其实原理只要搞懂了transformer,这里就很容易懂了。 1.基于decoder 它是一个自回归模型,也就是输出会转变为下一次的输入,主要用来文本生成。 输入编码:词嵌入和位置嵌入向量相加,然后进入masked self 阅读全文
摘要:
1.word2vec模型 https://zhuanlan.zhihu.com/p/27234078 讲的非常好! 这里说到了上面的这个结论,我的理解是,学习到的kitten和cat在空间中会更接近吗?难道只能通过和其他词的平行四边形才ok?? 嗯,后面说了,训练的嵌入向量也会非常地相似。 skip 阅读全文