随笔分类 - Python与深度学习（Pytorch）
摘要：通俗讲：端侧神经网络GhostNet（2019） GhostNet是华为诺亚方舟实验室提出的一个新型神经网络结构。目的类似Google提出的MobileNet，都是为了硬件、移动端设计的轻小网络，但是效果想摆MobileNet更好。 GhostNet基于Ghost模块，这个特点是不改变卷积的输出特征
阅读全文
摘要：GoogleNet和VGG是ImageNet挑战赛中的第一名和第二名。共同特点就是两个网络的层次都更深了。但是： VGG继承了LeNet和AlexNet的一些框架结构 而GoogleNet则做了更大胆的尝试，虽然深度有22层，但是参数却是Alexnet的1/12.而VGG都是Alexnet的三倍，由
阅读全文
摘要：googleNet是2014年的ILSVRC的冠军模型，GoogleNet做了更大胆的网络上的尝试，而不是像vgg继承了lenet以及alexnet的一切框架。GoogleNet虽然有22层，但是参数量只有AlexNet的1/12 GoogleNet论文指出获得高质量模型最保险的做法就是增加模型的深
阅读全文
摘要：看的多个Kaggle上 图片分类比赛 的代码，发现基本都会选择resnet网络作为前置网络进行训练，那么如何实现这个呢？ 本文主要分为两个部分 第一个部分讲解如何使用PyTorch来实现前置网络的设置，以及参数的下载和导入 第二个部分简单讲一下resnet运行的原理。 第一部分：实现 有一个非常好用
阅读全文
摘要：先来看一下这是什么任务。就是给你手写数组的图片，然后识别这是什么数字：  dataset 首先先来看PyTorch的dataset类： 我已经在 "从零
阅读全文
摘要：[TOC] 前言 看了很多，发现这个遗传算法，进化算法是一个非常有用的一个方法。而且可解释性远远强于神经网络。之前写了一篇博文，专门讲解基于DEAP库的python编程，来编写遗传算法，但是那一篇主要偏重代码，出于想要深入理解代码的含义，因此专门记下这篇博文，既是笔记，也是分享。 所有的用pytho
阅读全文
摘要：[TOC] 前言 本文不介绍原理的东西，主要是实现 进化算法的python实现 。 原理介绍可以看这里，能学习要很多，我也在这里写了一些感受心得： "遗传算法/遗传编程 进化算法基于python DEAP库深度解析讲解" 1.优化问题的定义 单目标优化 在创建单目标优化问题时，weights用来指示
阅读全文
摘要：[TOC] 1.概述 1.1 什么是TSNE TSNE是由T和SNE组成，T分布和随机近邻嵌入(Stochastic neighbor Embedding). TSNE是一种==可视化工具==，将高位数据降到2 3维，然后画成图。 t SNE是目前==效果最好的数据降维和可视化方法== t SNE的
阅读全文
摘要：[TOC] 基本概念 图 定义： 图G(V,E)是指一个二元组(V(G),E(G))，其中: 1. V(G)={v1,v2,…, vn}是非空有限集，称为顶点集， 2. E(G)是V(G)中的元素对(vi,vj)组成的集合称为边集。 举例： V(G)={v1,v2,v3,v4} E(G)= {e1,
阅读全文
摘要：[TOC] 相关知识点 LP线性规划问题 Linear Problem [百度百科]：研究线性约束条件下线性目标函数的极值问题的数学理论和方法。 学过运筹学的小伙伴，可以看这个LP问题的标准型来回顾一下： 不太熟悉的朋友可以看这个例题，再结合上面的标准型，来感受一下： MIP混合整数规划 Mixed
阅读全文
摘要：[TOC] KS(不需要两组数据相同shape) 奇怪之处 ：有的地方也叫KL KS距离，相对熵，KS散度 当P(x)和Q(x)的相似度越高，KS散度越小 KS散度主要有两个性质： （1）不对称性 不对称性尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，
阅读全文
摘要：图看不懂不要紧，把文章看完就肯定理解了。这是一个方便总结的图 1 概述 本文会介绍六种激活函数，并且比较他们的区别。 1.1 梯度消失问题 w(L)=w(L)learningrate×∂C∂w(L)w(L)=w(L)learningrate×∂C∂w(L) 当
阅读全文
