摘要:
心血来潮搭建了hexo+github page的个人博客QAQ。 有兴趣的口以看一看哇。nannan的博客 可以一起交流学习,有问题的地方也希望各位大佬指出哇。 阅读全文
摘要:
RuntimeError: No CUDA GPUs are available问题解决 检查GPU是否可用 import torch if torch.cuda.is_available(): print("GPU可用") else: print("GPU不可用") 显示当前可用的GPU数量 im 阅读全文
摘要:
NVIDIA驱动失效简单解决方案:NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver. 问题:准备用GPU跑模型时,提示cuda 不存在 第一步,打开终端,输入:vidia-smi NVIDIA-S 阅读全文
摘要:
数值稳定性+模型初始化和激活函数 1.数值稳定性 \(t\) 是层数 \(y\) 是优化函数(不是预测结果) 向量关于向量的导数是一个矩阵,那么进行\(d-t\)次矩阵乘法 ① MLP:多层感知机。 ② 对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵,常写为diag( 阅读全文
摘要:
丢弃法(drop out) 一、介绍 1.动机 一个好的模型需要对输入数据的扰动鲁棒 使用有噪音的数据等价于Tikhonov正则 丢弃法:在层之间加入噪音 2.丢弃法的定义 这里除以\(1-p\)是为了\(x_i^{'}\)与原来的\(x_i\)的期望相同。 \[ 0\times p + (1-p) 阅读全文
摘要:
L2正则化和权重衰退(Weight Decay) 一、权重衰退介绍 1.什么是权重衰减/权重衰退——weight_decay L2正则化 主要作用是:解决过拟合,在损失函数中加入L2正则化项 2. L2范数 L2范数,也被称作欧几里得范数或者Frobenius范数(当应用于矩阵时),是最常用的向量范 阅读全文
摘要:
模型选择、过拟合、欠拟合 在机器学习和统计建模中,模型选择、过拟合和欠拟合是常见的概念,关系到模型的性能和泛化能力。 1.模型选择 举个一个有趣的例子: 惊讶的发现: 你发现所有的5个人在面试的时候都穿了蓝色衬衫(就是咱们说的蓝领嘛) 你的模型也发现了这个强信号 这会有什么问题? 这就引出了我们的训 阅读全文
摘要:
多层感知机(MLP) 1. 单层感知机 1.1 感知机 线性回归输出的是一个实数,感知机输出的是一个离散的类。 1.2 训练感知机 ①如果分类正确的话y<w,x>为正数,负号后变为一个正数,和\(0\)取\(max\)之后得\(0\),则梯度不进行更新 ②如果分类错了,y<w,x>为负数, 的判断条 阅读全文
摘要:
nannan的板子 eclipse自动导包和自动补全配置: 自动导包 自动补全 更改主题 代码片段1 import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.IOException; import ja 阅读全文
摘要:
[深度学习]\(Softmax\)回归、损失函数、分类 1、\(Softmax\)回归模型 \(Softmax\)回归虽然它的名字是回归,其实它是一个分类问题。 \(Softmax\)回归跟线性回归一样将输入特征与权值做线性叠加。与线性回归主要不同的在于:\(Softmax\)回归的输出值个数等于标 阅读全文