12 2021 档案
摘要：课程7 训练神经网络（part 2） key： 更好的优化 正则化 迁移学习 Fancier Optimization 更好的优化（如何更新梯度） 1.从SGD（随机梯度下降）出发： 问题一：以二维为例（两个都是权重，一个是w1，一个是w2），在w1上前进很慢，在w2上前进很快，导致曲折前进，推广到
阅读全文
摘要：课程6 训练神经网络（part 1） key： epoch指一次使用全部数据的完整训练 开始（激活函数、数据预处理、权重初始化、正则化、梯度检查） 动态训练（监督学习过程、参数更新、超参数优化） 评估（模型评估） 激活函数 1.Sigmoid函数：将输出固定在[0 , 1]，曾经很受欢迎，因为可以很
阅读全文
摘要：课程5 卷积神经网络 key： CNN 卷积核（滤波器） 卷积神经网络 Convolutional Neural Networks 1.一点历史：从马克一号（1957）开始出现感知计算机，有了激活函数的思想；到1960出现多层，至1986第一次反向传播开始流行，2006年有 再激活 研究在深度学习中
阅读全文
摘要：课程四 反向传播和神经网络 key： 反向传播 梯度 神经网络 Backpropagation 反向传播 1.概述：使用高等数学中求偏导的链式法则，对由损失函数正向计算得到的结果（用计算图表示），从后向前计算，求得损失函数中任一变量的梯度值；实为链式法则的递归调用； 2.为什么是梯度（导数）：梯度由
阅读全文
摘要：课程三 损失函数与优化 key： 损失函数 优化 梯度 Loss Function 损失函数 1.概述：对W进行定量的评估，即评估分类结果的正确性损失了多少，可以告诉我们当前分类器有多好or有多坏 2.形式化描述：xi和yi均由分类器通过训练集所得，是同一个图片（训练对象）的对应不同类的分数，xi为
阅读全文
摘要：课程二 KNN 和 Linear Classifier key： KNN，线性分类器，数据驱动 KNN相关 1.Nearest Neighbor 最近邻居分类器：分训练集和测试集 先训练：记住训练集的图片和标签（只是记住，无操作） 再测试：为测试集中每一张图片，在训练集中找到最相近的，将其标签赋给测
阅读全文
