08 2019 档案
摘要：随机变量 何谓随机变量？即给定样本空间，其上的实值函数称为(实值)随机变量。 期望 离散随机变量的一切可能值与其对应的概率P的乘积之和称为数学期望 方差 一个随机变量的方差（Variance）描述的是它的离散程度，也就是该变量离其期望值的距离 协方差 在概率论和统计学中用于衡量两个变量的总体误差。而
阅读全文
摘要：pytorch 入门指南 1. pytorch 概述 pytorch是facebook 开发的torch（Lua语言）的python版本，于2017年引爆学术界 官方宣传pytorch侧重两类用户：numpy的gpu版、深度学习研究平台 pytorch使用动态图机制，相比于tensorflow最开始
阅读全文
摘要：GAN是什么? 生成对抗网络(GANs)是当今计算机科学中最有趣的概念之一。 两个模型通过对抗性过程同时训练。 生成器(“艺术家”)学会创建看起来真实的图像，而鉴别器(“艺术评论家”)学会区分真实图像和赝品。 在训练过程中，生成器逐渐变得更擅长创建看起来真实的图像，而鉴别器则变得更擅长区分它们。 当
阅读全文
摘要：1、相关知识 从广义上来说，NN（或是更美的DNN）确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为，它们并没有可比性，或是根本没必要放在一起比较。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括convolution layer 或是 LSTM 单元。其实，如
阅读全文
摘要：莫烦视频网址 这个代码实现了预测和可视化 1 import os 2 3 # third-party library 4 import torch 5 import torch.nn as nn 6 import torch.utils.data as Data 7 import torchvisi
阅读全文
摘要：网上看到的关于卷积神经网络总结比较好的文章 链接如下：https://blog.csdn.net/sinat_34328764/article/details/84192303
阅读全文
摘要：各种优化器的比较 莫烦的对各种优化通俗理解的视频
阅读全文
摘要：1.要点 Torch 中提供了一种帮你整理你的数据结构的好东西, 叫做 DataLoader, 我们能用它来包装自己的数据, 进行批训练. 而且批训练可以有很多种途径。 2.DataLoader DataLoader 是 torch 给你用来包装你的数据的工具. 所以你要讲自己的 (numpy ar
阅读全文
摘要：结果和莫烦的不一样，但是找不到问题的所在，，。。。
阅读全文
摘要：下面的是一个比较快搭建神经网络的代码，在上面的代码进行修改，代码如下
阅读全文
摘要：下面的代码说明个整个神经网络模拟回归的过程，代码含有详细注释，直接贴下来了
阅读全文
摘要：以下面例子作为面向对象基础介绍，类比java里的面向对象既可以，大同小异 子类dog，cat继承动物animal，子类继承父类所有属性，并可以重写父类方法，并可以有自己的方法。 对于Python的私有类属性不可以修改，但可以通过方法来实现对私有属性的控制。 具体详解可参考这位博文：https://w
阅读全文
摘要：1. sigmod函数 函数公式和图表如下图 在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，这点很有意思，可以联想到概率，但是严格意义上讲，不要当成概率。sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的
阅读全文
摘要：1.简介 torch.autograd.Variable是Autograd的核心类，它封装了Tensor，并整合了反向传播的相关实现 Variable和tensor的区别和联系 Variable是篮子，而tensor是鸡蛋，鸡蛋应该放在篮子里才能方便拿走（定义variable时一个参数就是tenso
阅读全文
摘要：Q1:什么是神经网络? Q2:torch vs numpy Numpy：NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高 效的多（该结构也可以用来表示矩阵（matrix））。专为
阅读全文
摘要：4.1深层神经网络 （1）到底是深层还是浅层是一个相对的概念，不必太纠结，以下是一个四层的深度神经网络： （2）一些符号定义： a[0]=x（输入层也叫做第0层） L=4：表示网络的层数 g:表示激活函数 第l层输出用a[l]，最终的输出用a[L]表示 n[1]=5:表示第一层有五个神经元，第l层神
阅读全文
摘要：3.1神经网络概述 （1）神经网络每个单元相当于一个逻辑回归，神经网络由逻辑回归的堆叠起来。下图是网络结构： 针对网络结构进行计算： 1.第一层的正向传播 2.第一层的反向传播 3.第二层的反向传播（正向只要把微分符号去掉即可） 3.2神经网络的表示 （1）神经网络各层分别较输入层、掩藏层和输出层，
阅读全文
摘要：2.1二分类 （1）以一张三通道的64×64的图片做二分类识别是否是毛，输出y为1时认为是猫，为0时认为不是猫： y输出是一个数，x输入是64*64*3=12288的向量。 （2）以下是一些符号定义（数据集变成矩阵之后进行矩阵运算代替循环运算，更加高效） x：表示一个nx维数据，维度为（nx,1）
阅读全文
摘要：本阶段的博客内容是关于深度学习知识，总结吴恩达老师的课程的内容，笔记大部分转载自https://www.cnblogs.com/ys99/ 这个博主。 1.1欢迎 主要讲了五门课的内容： 第一门课：神经网络基础，构建网络等； 第二门课：神经网络的训练技巧； 第三门课：构建机器学习系统的一些策略，下一
阅读全文
摘要：前言 机器学习栏目记录我在学习Machine Learning过程的一些心得笔记，涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等，主要学习资料来自Standford Andrew Ng老师在Coursera的教程，同时也参考了大量网上的相关资料（在后面列出）。 本文主要记录我在学习
阅读全文
摘要：(1)涉及到的算法 1.监督学习：线性回归，逻辑回归，神经网络，SVM。 线性回归（下面第三行x0(i)其实是1，可以去掉） 逻辑回归 神经网络（写出前向传播即可，反向框架会自动计算） SVM 2.非监督学习：聚类算法(K-mean),降维(PCA) K-mean PCA 3.异常检测 4.推荐系统
阅读全文
摘要：18.1问题描述和流程图 （1）图像文字识别是从给定的一张图片中识别文字。 （2）流程包括： 1.文字侦测 2.字符切分（现在不需要切分了） 3.字符分类 18.2滑动窗口 在行人检测中，滑动窗口是首先训练一个固定尺寸输入的判断是否有行人的网络，然后在一张图片中裁该尺寸的图片，送入到网络中；然后不断
阅读全文
摘要：16.1问题形式化 (1)讲推荐系统的原因主要有以下几点: 1.推荐系统是一个很重要的机器学习的应用，虽然在学术界上占比较低，但是在商业应用中非常的重要，占有很高的优先级。 2.传达机器学习的一个大思想：特性是可以学习而来的，不需要人工去选择。 (2)说明的案例：电影推荐系统 希望创建一个算法来预测
阅读全文
摘要：17.1大型数据集的学习 首先通过学习曲线判断是否增大数据集有效： 高方差时（交叉验证集误差减去训练集误差大时）增加数据集可以提高系统。下图中左图增加数据集有效，右图无效。 17.2随机梯度下降法 随机梯度下降法是只使用一个样本来迭代，其损失函数为： 迭代过程为： 特点： (1)计算量小，迭代速度快
阅读全文
摘要：15.1问题的动机 将正常的样本绘制成图表（假设可以），如下图所示： 当新的测试样本同样绘制到图标上，如果偏离中心越远说明越可能不正常，使用某个可能性阈值，当低于正常可能性阈值时判断其为异常，然后做进一步的检查。异常检测常用于工业生产、异常用户等实际场景中。 以上这种方法叫密度评估： 15.2高斯分
阅读全文
摘要：Q1动机一：数据压缩 将特征进行降维，如将相关的二维降到一维： 三维变二维： 以此类推把1000维数据降成100维数据。减少内存占用的空间 Q2动机二：数据可视化 如50个维度的数据是无法进行可视化的，使用降维的方法可以使其降到2维，然后进行可视化。 降维的算法只负责减少维度，新产生的特征的意义就必
阅读全文
摘要：13.1无监督学习：简介 将没有标签的样本分成不同的集合（簇），这种算法叫做聚类。常用的领域有市场分割、社交网络分析、计算机集群管理、了解星系等。 13.2K-均值算法 （1）K-均值是最普及的聚类算法，是一种迭代算法，假设需要将数据聚类成n个组，这时候首先随机选择K个点，称为聚类中心。 将每个样本
阅读全文
摘要：12.1目标优化 （1）以下是逻辑回归以及单个样本的代价函数 （2）首先将使用上图中紫色的线（称为cost1或者cost0）的代替曲线，然后将样本数m去掉，最后将C代替1/λ（可以这么理解，但不完全是），从而实现逻辑回归的代价函数到SVM的转换。 （3）SVM的输出将不再是逻辑回归的概率，而就是0或
阅读全文
