随笔分类 - ai
摘要：随机梯度下降法（SGD）是训练深度学习模型最常用的优化方法。在前期文章中我们讲了梯度是如何计算的，主要采用BP算法，或者说利用链式法则。但是深度学习模型是复杂多样的，你不大可能每次都要自己使用链式法则去计算梯度，然后采用硬编程的方式实现。 而目前的深度学习框架其都是实现了自动求梯度的功能，你只关注模
阅读全文
摘要：现代深度学习系统中（比如MXNet， TensorFlow等）都用到了一种技术——自动微分。在此之前，机器学习社区中很少发挥这个利器，一般都是用Backpropagation进行梯度求解，然后进行SGD等进行优化更新。手动实现过backprop算法的同学应该可以体会到其中的复杂性和易错性，一个好的框
阅读全文
摘要：许多初学者觉得深度学习框架抽象，虽然调用了几个函数/方法，计算了几个数学难题，但始终不能理解这些框架的全貌。 为了更好地认识深度学习框架，也为了给一些想要自己亲手搭建深度学习框架的朋友提供一些基础性的指导，日前来自苏黎世联邦理工学院计算机科学系的硕士研究生Gokula Krishnan Santha
阅读全文
摘要：执行 tensorboard --logdir D:/data/log/20191018-162001 查看
阅读全文
摘要：其中mnist.npz文件可以从google下载 https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
阅读全文
摘要：一文弄懂神经网络中的反向传播法——BackPropagationhttps://www.cnblogs.com/charlotte77/p/5629865.html https://www.cnblogs.com/charlotte77/
阅读全文
摘要：相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯度推导那里被折磨了半天。在各种机器学习的课上明明听得非常明白，神经网络无非就是正向算一遍Loss，反向算一下每个参数的梯度，然后大家按照梯度更新就好了。问题是梯度到底怎么求呢？课上往往举的是标量的例子，可是一到你做作业的时候就发现
阅读全文
摘要：如果能二秒内在脑袋里解出下面的问题，本文便结束了。 已知：，其中。 求：，，。 到这里，请耐心看完下面的公式推导，无需长久心里建设。 首先，反向传播的数学原理是“求导的链式法则” : 设和为的可导函数，则。 接下来介绍 矩阵、向量求导的维数相容原则 利用维数相容原则快速推导反向传播 编程实现前向传播
阅读全文
摘要：本打算把梯度放在神经网络来讲，学习机器学习实战时发现用到梯度下降最优算法，所以就把这个知识点深入讲一下，等后面实战到神经网络时，直接复制这里的，这次讲解会深入讲解，简明易懂是目的，虽然网上都有各种画图说明，但是还是不容易理解，本讲解一定会让大家理解的，讲解主要从问题出发，从简单的内容开始，这需要你对
阅读全文
摘要：merge into trade.ttradeseat ausing trade.bs_zrt_tradeseat bon (a.L_FUND_ID = b.l_Fund_Id and a.l_basecombi_id = b.l_basecombi_id and a.vc_seat_id = b.
阅读全文
摘要：顾名思义, 条件概率指的是某个事件在给定其他条件时发生的概率, 这个非常符合人的认知:我们通常就是在已知一定的信息(条件)情况下, 去估计某个事件可能发生的概率. 概率论中,用 | 表示条件, 条件概率可以通过下式计算得到P(Y=y|X=x)=P(Y=y,X=x)P(X=x)P(Y=y|X=x)=P
阅读全文
摘要：0、选择一个神经网络结构1、随机参数初始化2、运用向前传播算法计算每个x的对应的输出值y。3、运用代码计算出代价函数J(theta)。4、运用反向传播算法计算代价函数J(theta)关于theta的偏导数。5、运用梯度检验把反向传播算法得到的偏导数与数据估计值进行比较。并注意在程序中停用梯度检验算法
阅读全文
摘要：LDA简介： LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。因为是由Fisher在1936年提出的，所以也叫Fisher’s Linear Discriminant。 LDA通常作为数据预处理阶段的降维技术，其目
阅读全文
摘要：前言在之前的一篇博客机器学习中的数学(7)——PCA的数学原理中深入讲解了，PCA的数学原理。谈到PCA就不得不谈LDA，他们就像是一对孪生兄弟，总是被人们放在一起学习，比较。这这篇博客中我们就来谈谈LDA模型。由于水平有限，积累还不够，有不足之处还望指点。下面就进入正题吧。 为什么要用LDA前面的
阅读全文
摘要：前不久chensh出于不可告人的目的，要充当老师，教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显，chensh觉得，要让自己在讲线性代数的时候不被那位强势的学生认为是神经病，还是比较难的事情。 可怜的chensh，谁让你趟这个地雷阵？！色令智昏啊！ 线性代数课程，无论
阅读全文
摘要：PCA的数学原理 前言 数据的向量表示及降维问题 向量的表示及基变换 内积与投影 基 基变换的矩阵表示 协方差矩阵及优化目标 方差 协方差 协方差矩阵 协方差矩阵对角化 算法及实例 PCA算法 实例 进一步讨论 PCA的数学原理 前言 数据的向量表示及降维问题 向量的表示及基变换 内积与投影 基 基
阅读全文
摘要：原文：http://www.blogjava.net/zhenandaci/archive/2009/02/13/254519.html （一）SVM的八股简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维
阅读全文
摘要：Linear Regression Logistic regression KNN Classification Support Vector Machine (SVM) Decision Trees Random Forest Artificial Neural Network K-means C
阅读全文
摘要：作者：KAEL链接：https://www.zhihu.com/question/61982780/answer/294828166来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 运营商之间一般有三种对等关系。1，Transit：会提供Full route，也就是你说
阅读全文
摘要：import numpy as np import matplotlib.pyplot as plt x=np.linspace(-1,1,200) y=1/(1+np.exp(10*x-1)) plt.plot(x,y) plt.show()
阅读全文
