08 2019 档案
摘要：1.正交化 通过电视机调节按钮的例子理解正交化。电视机的调节按钮有诸如调节图像高度、左右、旋转、大小等不同功能，而我们往往希望每一个按钮只控制一个功能，而这个按钮尽量不会影响到其他属性，这样更容易往我们想要的方向调节。 early stopping这一旋钮，会导致对训练集拟合不够，但又能使得在开发集
阅读全文
摘要：1.调试 1.1 超参数调试重要性顺序： 1. α 2.β, hidden units, mini-batch size 3.layers, learning rate decay 其他：若采用adam，则直接设定$\beta_{1}=0.9, \beta_{2}=0.99
阅读全文
摘要：1. mini-batch梯度下降法 size=m：退化为batch，当训练样本过多时，单次迭代需要处理过多的训练样本 size=1：随机梯度下降法，产生大量噪声（但通过减小学习率，噪声可以减少），缺点是失去了向量化带来的加速。 使用mini-size，每次遍历所有样本时，可以进行m/size次梯度
阅读全文
摘要：1. 训练集，验证集，测试集 当数据量较小时，可以分别占60%, 20%, 20%，当数据集规模很大时，验证集和测试集所占比例可以很小。 2.偏差和方差 2.1判断 我们可以根据训练集误差，判断数据拟合情况，判断是否有偏差问题。之后根据验证集误差，判断方差是否过高。 2.2 解决 针对高偏差（欠拟合
阅读全文
摘要：先放两个链接 https://www.zhihu.com/question/27239198/answer/89853077 https://www.cnblogs.com/charlotte77/p/5629865.html 参数的展开 在使用高级优化方法训练神经网络模型时(fminunc)，需要
阅读全文
摘要：1.introduce 当属性增多时，由于我们的特征可以取属性的多项式组合，代价将呈指数增长，很难计算。因此，我们需要一种合适的方法来解决特征变量过多的问题。 由此我们从人的大脑与神经元开始，实验表明，人的大脑不同皮层均具有学习能力，并非仅仅能够完成本区域固定的任务。例如，将视觉信号接入听觉皮层，听
阅读全文
摘要：1.设置国内源 2.安装chrome https://www.cnblogs.com/tcppdu/p/10051675.html 3.安装搜狗输入法 https://www.cnblogs.com/zhuangmingnan/p/9496499.html 4.删除自带垃圾 5.安装matlab h
阅读全文
摘要：1.逻辑回归 1.1 introduce 逻辑回归用于分类问题，例如判断一封邮件是否为垃圾邮件，一颗肿瘤为恶性肿瘤还是良性肿瘤。 如图所示，若依然使用线性回归训练模型，则本来拟合的曲线为左边那条，加入最右上角的数据后，拟合的曲线斜率减小了。因此我们需要改变策略，可以设定一个固定的阈值0.5，超过0.
阅读全文
摘要：1.基础 先举房屋价面积x与房屋价格y间关系的例子，给出一系列数据集，数据集中包含不同房屋的面积与其对应价格，通过学习，得到一种算法，该算法可根据输入的房屋面积x，自动预测出价格y. 1) 假设函数h（hypothesis），经由学习算法在训练集上产生，输入x，产生估算的结果 2) 代价函数(cos
阅读全文
