ybx-tih

摘要： 阅读全文

摘要： 输入n个向量，要输出相同个数的向量（比如，输入一个句子，输出句子中每个词的词性。每个单词转化为向量可以用one-hot vector或者word embedding方法） 如果将每个向量连一个FC（fully connected network），会出现像 I saw a saw这种情况，两个saw 阅读全文

摘要： 例如一只鸟，要辨别是不是一只鸟，可以分为几个neuron，每个neuron辨别一个部位，而又一个图像是X*X*3的三维tensor，其中3为channel，即RGB 其中receptive field的分布如下 其中最经典的分布：因为要看全部的channel，所以不用管深度，将高和宽称为kernel 阅读全文

摘要： 魔术方法 魔术方法有init，str，lt，le，eq等等，其中__init__是构造方法，不再阐述 __str__ 下面直接打印stu和str(stu)都会输出内存地址 class Student: def __init__(self, name, age): self.name = name s 阅读全文

摘要： Critical Point 在 Gradient Descent 的时候，如果遇到梯度为 0 的情况，导致无法继续 optimization，这样的点叫做 Critcal Point。如果最后优化的结果不好，则出现这样的点的原因有以下两个 一个是到 local minima 了，另一个是在驻点了（ 阅读全文

摘要： 发现结果不好时，可以按下图顺序来调整 先考虑Loss on training data，如果large,考虑model bias和optimization Model Bias model太简单，导致最优解不在空间里，只能找到小空间的最优解，犹如大海捞针，针却不在大海 这时我们要redesign一下 阅读全文

摘要： 分类 先介绍一种分类方式，这种分类方式是生成式（Generative）的。通过后验概率来进行分类（如：某一个物品在某一个类别的概率比较大，那么我们就认为这个物品属于这个类别）不妨假设数据服从二维正态分布，考虑利用训练集确定二维正态分布所需要的参数，$\mu$和$\sum$分别是均值和协方差，二维正态 阅读全文

摘要： backpropagation(反向传播)在计算gradient的vector时可以有效率地把vector计算出来 我们先考虑一个neuron 考虑链式法则，现计算$\frac{\partial z}{\partial w}$，计算较为简单，规律发现就是input 以上步骤就叫forward pas 阅读全文

摘要： machine learning ≈ looking for function this course focuses on deep learning deep learning's function is 类神经网络 Step1:function with unknown Step2:defin 阅读全文

摘要： 参考资料：数学建模清风第二次直播：模拟退火算法 https://www.bilibili.com/video/BV1hK41157JL 阅读全文