07 2021 档案
摘要：YOLO 算法 假设你要训练一个算法去检测三种对象，行人、汽车和摩托车，你还需要显式指定完整的背景类别。这里有 3 个类别标签，如果你要用两个 anchor box，那么输出 y 就是 3×3×2×8，其中 3×3 表示 3×3 个网格，2 是 anchor box 的数量，8 是向量维度，你可以将
阅读全文
摘要：Anchor Boxes 如果我们想让一个格子检测出多个对象，我们怎么做呢？ 假设你有这样一张图片，对于这个例子，我们继续使用 3×3 网格，注意行人的中点和汽车的中点几乎在同一个地方，两者都落入到同一个格子中。所以对于那个格子，如果 y 输出这个向量，对于检测这三个类别，行人、汽车和摩托车，它将无
阅读全文
摘要：1 交并比（Intersection over union） 如何判断对象检测算法运作良好呢？并交比函数，可以用来评价对象检测算法。在对象检测任务中，你希望能够同时定位对象，所以如果实际边界框是这样的，你的算法给出这个紫色的边界框，那么这个结果是好还是坏？所以交并比（loU）函数做的是计算两个边界框
阅读全文
摘要：1 滑动窗口的卷积实现（Convolutional implementation of sliding windows） 为了构建滑动窗口的卷积应用，首先要知道如何把神经网络的全连接层转化成卷积层。假设对象检测算法输入一个 14×14×3 的图像，过滤器大小为 5×5，数量是 16，14×14×3
阅读全文
摘要：1 特征点检测（Landmark detection） 假设你正在构建一个人脸识别应用，出于某种原因，你希望算法可以给出眼角的具体位置。眼角坐标为(x, y)，你可以让神经网络的最后一层多输出两个数字lx和ly，作为眼角的坐标值。如果你想知道两只眼睛的四个眼角的具体位置，那么从左到右，依次用四个特征
阅读全文
摘要：目标定位（Object localization） 图片分类任务我们已经熟悉了，就是算法遍历图片，判断其中的对象是不是汽车，这就是图片分类。定位分类问题，这意味着，我们不仅要用算法判断图片中是不是一辆汽车，还要在图片中标记出它的位置，用边框或红色方框把汽车圈起来，这就是定位分类问题。其中“定位”的意
阅读全文
摘要：数据增强（Data augmentation） 或许最简单的数据增强方法就是垂直镜像对称，假如，训练集中有这张图片，然后将其翻转得到右边的图像，实际是做了一个镜像对称，如果镜像操作保留了图像中想识别的物体的前提下，这是个很实用的数据增强技巧。 另一个经常使用的技巧是随机裁剪，给定一个数据集，然后开始
阅读全文
摘要：1.1 1×1 卷积（Network in Network and 1×1 convolutions） 输入一张 6×6×1 的图片，然后对它做卷积，起过滤器大小为 1×1×1，结果相当于把这个图片乘以数字 2，但这仅仅是对于6×6×1 的一个通道图片来说，1×1 卷积效果不佳。如果是一张 6×6×
阅读全文
摘要：残差网络(ResNets)(Residual Networks (ResNets)) 非常非常深的神经网络是很难训练的，因为存在梯度消失和梯度爆炸问题。习跳跃连接（Skip connection），它可以从某一层网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。我们可以利用跳跃连接构建
阅读全文
摘要：经典网络（Classic networks） 经典的神经网络结构，分别是 LeNet-5、AlexNet 和 VGGNet。 第一个是 LeNet-5 的网络结构，假设你有一张 32×32×1 的图片，LeNet-5 可以识别图中的手写数字，比如像这样手写数字 7，LeNet-5 是针对灰度图片训练
阅读全文
摘要：1 池化层（Pooling layers） 除了卷积层，卷积网络也经常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。假如输入是一个 4×4 矩阵，用到的池化类型是最大池化（max pooling），执行最大池化的树池是一个 2×2 矩阵，即f=2，步幅是 2，即s = 2，执
阅读全文
摘要：1 单层卷积网络（One layer of a convolutional network） 假设经过两次卷积运算，最终各自形成一个卷积神经网络层，然后增加偏差（它是一个实数），通过线性函数（ Python 的广播机制）给这 16 个元素都加上同一偏差，然后应用非线性激活函数 ReLU，输出结果是一
阅读全文
摘要：1 Padding 为了构建深度神经网络，需要学会使用的一个基本的卷积操作就是 padding，那么它是如何工作的呢？ 上一节的例题可以看到，如果你用一个 3×3 的过滤器卷积一个 6×6 的图像，你最后会得到一个 4×4 的输出，也就是一个 4×4 矩阵。那是因为你的 3×3 过滤器在 6×6 矩
阅读全文
摘要：1 边缘检测（Edge detection） 卷积运算是卷积神经网络最基本的组成部分，看一个例子，这是一个 6×6 的灰度图像，因为是灰度图像，所以它是 6×6×1 的矩阵，而不是 6×6×3 的，因为没有 RGB 三通道，为了检测图像中的垂直边缘，可以构造一个 3×3矩阵，像这样，它被称为过滤器，
阅读全文
摘要：1 迁移学习（Transfer learning） 有的时候神经网络可以从一个任务中习得知识，并将这些知识应用到另一个独立的任务中，例如，也许你已经训练好一个神经网络，能够识别像猫这样的对象，然后使用那些知识，或者部分习得的知识去帮助您更好地阅读 x 射线扫描图，这就是所谓的迁移学习。 具体来说，在
阅读全文
摘要：1.2 Softmax 回归（Softmax regression） 有一种 logistic回归的一般形式，叫做 Softmax 回归，能让你在试图识别某一分类时做出预测，或者说是多种分类中的一个.假设你不单需要识别猫，而是想识别猫，狗和小鸡，我把猫加做类 1，狗为类 2，小鸡是类 3，如果不属于
阅读全文
摘要：1.1 归一化网络的激活函数（Normalizing activations in a network） 在深度学习兴起后，最重要的一个思想是它的一种算法，叫做 Batch 归一化，Batch归一化会使你的参数搜索问题变得很容易，使神经网络对超参数的选择更加稳定，超参数的范围会更加庞大，工作效果也很
阅读全文
摘要：#DDL语言 说明：Data Define Language数据定义语言,用于对数据库和表的管理和操作 # 库的管理 √ #一、创建数据库 CREATE DATABASE studb2; CREATE DATABASE IF NOT EXISTS stuDB; #二、删除数据库 DROP DATAB
阅读全文
摘要：#进阶9：联合查询 /* 说明：当查询结果来自于多张表，但多张表之间没有关联，这个时候往往使用联合查询，也称为union查询 语法： select 查询列表 from 表1 where 筛选条件 union select 查询列表 from 表2 where 筛选条件 特点： 1、多条待联合的查询语
阅读全文
摘要：#进阶8：分页查询 /* 应用场景：当页面上的数据，一页显示不全，则需要分页显示 分页查询的sql命令请求数据库服务器——>服务器响应查询到的多条数据——>前台页面 语法： select 查询列表 from 表1 别名 join 表2 别名 on 连接条件 where 筛选条件 group by 分
阅读全文
摘要：#进阶七：子查询 /* 说明：当一个查询语句中又嵌套了另一个完整的select语句，则被嵌套的select语句称为子查询或内查询 外面的select语句称为主查询或外查询。 分类： 按子查询出现的位置进行分类： 1、select后面 要求：子查询的结果为单行单列（标量子查询） 2、from后面 要求
阅读全文
摘要：#进阶6：连接查询 说明：又称多表查询，当查询语句涉及到的字段来自于多个表时，就会用到连接查询 笛卡尔乘积现象：表1 有m行，表2有n行，结果=m*n行 发生原因：没有有效的连接条件 如何避免：添加有效的连接条件 分类： 按年代分类： 1、sql92标准:仅仅支持内连接 内连接： 等值连接 非等值连
阅读全文
摘要：#进阶5：分组函数 /* 说明：分组函数往往用于实现将一组数据进行统计计算，最终得到一个值，有称为聚合函数或统计函数 分组函数清单 sun（字段名）：求和 avg（字段名）：求平均数 max（字段名）：求最大值 min（字段名）：求最小值 count（字段名）:计算非空字段值的个数 */ #案例1：
阅读全文
摘要：#进阶四：常见函数 /* 函数：类似与Java中学过的“方法”，将编写的一系列的命令集合封装在一起，对外仅仅暴露方法名，共外部的调用 1、自定义方法 2、调用方法（函数） 叫什么：函数名 干什么：函数功能 常见函数： 字符函数 数学函数 日期函数 流程控制函数 */ #一、字符函数 1、CONCAT
阅读全文
摘要：#进阶三：排序查询 /* 语法： select 查询列表 from 表名 【where 筛选条件】 order by 排序列表 执行顺序 (1)from子句 (2)where子句 (3)select子句 (4)order by子句 举例： select `last_name`,`salary` fr
阅读全文
摘要：#进阶一：基础查询 /* 语法： select 查询列表 from 表名； 特点： 1、查询的结果集 是一个虚拟表 2、select 查询列表 类似于System.out.println(打印内容); select后面跟的查询列表，可以有多个部分组成，中间用逗号隔开 例如：select 字段1，字段
阅读全文
摘要：数据库的安装与配置 我的设备名称：MySQL5.5 我的密码：123456 1.如何启动数据库 方式一：通过计算机管理方式 右击计算机—管理—服务—启动或停止MySQL服务 方式二：通过命令行方式（这里命令行需要右击以管理员的身份运行） 启动：net start mysql服务名 停止：net st
阅读全文
摘要：进阶2 条件查询 /* 语法： select 查询列表 from 表名 where 筛选条件 执行顺序： （1）from子句 （2）where子句 （3）select子句 select last_name,first_name from employees where salary>20000; 特
阅读全文
摘要：1、#显示表darpartments的结构，并查询其中的全部数据 DESC `departments`; SELECT *FROM `departments`; 2、#显示表employees中的全部job_id(不能重复) SELECT DISTINCT job_id FROM `employee
阅读全文
摘要：1.1 动量梯度下降法（Gradient descent with Momentum） 优化成本函数J，还有一种算法叫做 Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重。 使用动量梯度下降法
阅读全文
摘要：指数加权平均，在统计中也叫做指数加权移动平均。 这里举一个温度的例子，首先使v0 = 0，需要使用 0.9 的加权数乘以前一天温度数值加上当日温度的0.1 倍，即v1 = 0.9v0 + 0.1θ1，所以这里是第一天的温度值。第二天，又可以获得一个加权平均数，0.9 乘以之前的值加上当日的温度 0.
阅读全文
摘要：1 Mini-batch 梯度下降（Mini-batch gradient descent） 向量化能够让你相对较快地处理所有m个样本。如果m很大的话，处理速度仍然缓慢，如果m是 500 万或 5000 万或者更大的一个数，在对整个训练集执行梯度下降法时，你要做的是，你必须处理整个训练集，然后才能进
阅读全文
摘要：1向量化 向量化是非常基础的去除代码中 for 循环的艺术，减少运行时间，在python中使用np.dot()进行向量化。 （1）代码举例 import time #为了计算不同方法的使用时间 a=np.random.rand(1000000) #用随机值创建了一个百万维度的数组 b=np.rand
阅读全文
摘要：比如算法中的 learning rate α（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、n[l]（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你自己来设置，这些数字实际上控制了最后的参数w和b的值，所以它们被称作
阅读全文
摘要：1 深层神经网络 1.1 深层神经网络（Deep L-layer neural network） 严格上来说逻辑回归也是一个一层的神经网络，有一个隐藏层的神经网络，就是一个两层神经网络，当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。 上图是一个四层的神经网络，有三个隐藏层，我们可
阅读全文
摘要：随机初始化（Random+Initialization） 当你训练神经网络时，权重随机初始化是很重要的，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用，是如果你这样初始化这个神经网络，那么这两个隐含单元就会完全一样，因此他们完全对称，也就意味着计算同样的函数，并且肯定的是最终经过每次训
阅读全文
摘要：1 激活函数（Activation functions） 之前用过 sigmoid 函数,sigmoid 函数在这里被称为激活函数,公式为： 更通常的情况下，使用不同的函数g(z[1])，g可以是除了 sigmoid 函数意外的非线性函数 ，效果总是优于 sigmoid 函数，因为函数值域在-1 和
阅读全文
摘要：1 神经网络 1.1 浅层神经网络 如上所示，首先你需要输入特征x，参数w和b，通过这些你就可以计算出z,接下来使用z就可以计算出a,我们将的符号换为表示输出y^ ⟹ a = σ(z),然后可以计算出 loss function L(a, y) 1.2 神经网络的表示（Neural Network
阅读全文
摘要：训练神经网络，其中一个加速训练的方法就是归一化输入，归一化需要两个步骤：（1）零均值u；（2）归一化方差σ2。 第一步是零均值化，，它是一个向量，x等于每个训练数据 x减去u，意思是移动训练集，直到它完成零均值化。 第二步是归一化方差，注意特征x1的方差比特征x2的方差要大得多，我们要做的是给σ赋值
阅读全文
摘要：1 正则化（Regularization） 深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据。在逻辑回归函数中加入正则化，只需添加参数 λ，λ是正则化参数，我们通常使用验证集或交叉验证集来配置这个参数，尝试各种各样的数据，寻找最好的参数，我们要考虑训练集之间
阅读全文
摘要：1 深度学习的实践层面(Practical aspects of Deep Learning) 1.1 训练，验证，测试集（Train / Dev / Test sets） 训练神经网络时，我们需要做出很多决策，例如：神经网络分多少层；每层含有多少个隐藏单元；学习速率是多少；各层采用哪些激活函数。对
阅读全文
摘要：Mini-batch 梯度下降（Mini-batch gradient descent） 向量化能够让你相对较快地处理所有m个样本。如果m很大的话，处理速度仍然缓慢，如果m是 500 万或 5000 万或者更大的一个数，在对整个训练集执行梯度下降法时，你要做的是，你必须处理整个训练集，然后才能进行一
阅读全文
摘要：1 逻辑回归 逻辑回归是一个用于二分类(binary classification)的算法，以在二分类问题中，我们的目标就是习得一个分类器，它以图片的特征向量作为输入，然后预测输出结果 y 为 1 还是 0。 逻辑回归的公式定义如下： 损失函数： 代价函数： 1.1逻辑回归模型 对于二元分类问题来讲
阅读全文
摘要：对于图像应用，我们经常在神经网络上使用卷积（Convolutional Neural Network），通常缩写为 CNN。 对于序列数据，例如音频，有一个时间组件，随着时间的推移，音频被播放出来，经常使用 RNN，一种递归神经网络（Recurrent Neural Network），递归神经网络(
阅读全文
摘要：1 双因素方差分析 1.1 双因素方差分析的实战 dat<-ToothGrowth dat attach(dat) table(dat$supp,dat$dose) aggregate(len,by=list(dat$supp,dat$dose),FUN=mean) #根据投方式（橙汁OJ，维C素V
阅读全文
摘要：1 方差分析 ANOVA 当包含的因子是解释变量时，我们关注的重点通常会从预测转向组别差异的分析，这种分析方法称作方差分析（ANOVA） 2 单因素方差分析 2.1 单因素比较 install.packages("multcomp") library(multcomp) dat<-cholester
阅读全文
摘要：1 异常观测值 states<-as.data.frame(state.x77[,c("Murder", "Population","Illiteracy","Income","Frost")]) fit<-lm(Murder~Population+Illiteracy+Income+Frost,d
阅读全文
摘要：1 OLS回归（最小二乘法回归） 1.1 用lm()拟合回归模型 在R中，拟合线性模型最基本的函数是lm()，格式为：myfit<-lm(formula,data) 1.2 简单线性回归 dat<-women fit<-lm(weight~height,data=dat) summarize(fit
阅读全文
摘要：1 基本统计分析 1.1 描述性统计分析 myvar<-c("mpg","hp","wt") head(mtcars[myvar]) #显示数据框的头部信息 dat<-mtcars[myvar] #查看数据框 1.1.1 方法 （1）简单分析：summary() 结果分析：计算了最值、分位数、均值等
阅读全文
摘要：1 绘图 1.1 条形图 barplot() （针对离散型变量） library(vcd) dat<-Arthritis counts<-table(dat$Improved) #table求数据框中间取值的频数 （1）简单条形图（一个变量，一维） barplot(counts,main="Simp
阅读全文
摘要：1 控制流 1.1 重复和循环 方式一：for() for (i in 1:10) print("hello") 方式二：while() while(i>0){ print("hello") i<-i-1 } 1.2 条件执行 方式一：if-else结构 if (is.character(roste
阅读全文
摘要：1 数据处理案例 (1)数据输入 student<-c("John Davis","Angla williams","Bullwink Moose", "David Jones","Janice Markhammer","cheryl Cushing", "Revenen Ytzrhak","Gre
阅读全文
摘要：1 高级数据管理 1.1 数值和字符处理函数 （1）数学函数 绝对值函数：abs() 取整函数：floor()，取不大于这个数的整数 取对数函数：log()，log10() 四舍五入函数：round() （2）统计函数 均值函数：mean() 方差函数：var() 标准差函数：sd() 分位数函数：
阅读全文
摘要：1 基本数据管理 1.1一个示例 （1）定义向量，造数据框 manage<-c(1,2,3,4,5) date<-c("10/24/08","10/28/08","10/1/08","10/12/08","5/1/09") country<-c("US","US","UK","UK","UK") g
阅读全文
摘要：1 图形的图例 输入数据： dose<-c(20,30,40,50,60) drugA<-c(16,20,27,40,60) drugB<-c(15,18,25,31,41) par(lwd=2,cex=1,font.lab=2) #全局图形设置，lwd是设置线条的宽度（粗细），cex设置字体的大小
阅读全文
摘要：1 图形标题的修改 输入数据： dose<-c(20,30,40,50,60) drugA<-c(16,20,27,40,60) drugB<-c(15,18,25,31,41) plot(dose,drugA,type="b",col="red",lty=2,pch=2,lwd=2,main="C
阅读全文
摘要：1 使用图形 1.1 交互式绘图 使用的是内置数据集：mtcars 画出散点图：plot(mtcars$mpg,mtcars$wt) 给图形加标题：title("车辆耗油与重量之间的关系") 加回归线：abline(lm(mpg~wt,data=mtcars)) （为什么我的没有回归线呢？？） 1.
阅读全文
摘要：一、定义：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类 二、距离：欧几里得度量（euclidean metric）也称欧氏距离 绝对值距离（manhattan） Lance距离（canberra） 定性变量距离（binary） 闵可夫斯基距离（minkowski） 三、使用函数
阅读全文
摘要：错误一：选择了未定义的列(Undefined columns are selected) 改正方法：把目标列转换成因子类型（as.factor） 使用代码如下： 或者： 错误二：太多(36119)的重量（too many (36119) weights） 改正方法：修改参数 MaxNWts 大于上述
阅读全文
摘要：1 数据的输入 1.1 键盘输入 首先新建一张空表： dat<-data.frame(age=numeric(0),gender=character(0),weight=numeric(0)) 使用edit修改表，弹出数据编辑器： dat<-edit(dat) 填入数据之后，查看表： dat 12.
阅读全文
摘要：1 向量 1.1 定义向量 向量使用c来赋值，向量中不能混合不同类型的数据 x<-c(2,3,7,6,8) # 数值型num y<-("one","two","three") #字符型chr z<-c(TRUE,TRUE,FALSE) #逻辑型logi 查看变量的类型：class(x) 1.2 访问
阅读全文
