07 2021 档案

16:交叉熵
摘要：1:交叉熵 cross entropy (1)entropy熵 [注]熵又称为不确定性或者惊喜度或者是信息量.值越小,不确定性越强.(值越小惊喜度越大或者是值越小信息量越大) 例如:下图中的彩票中奖率. 假如1:有四个数字中奖概率分别为0.25,则熵值会很大.即中奖的概率确定性很高,也即是惊喜度越小 阅读全文
posted @ 2021-07-31 17:52 收购阿里巴巴 阅读(384) 评论(0) 推荐(0)
15:逻辑回归(Logistic Regression)
摘要：1:逻辑回归 (1)逻辑回归的目标以及方法 (2)为什么不能直接最大化精确度? [注] 问题1:当权值改变,精确度没有改变,即梯度信息为0的情况. 问题2:当权值改变一点,精确度发生很大的变化:如当权值改变0.001,原来判断错误的点被判断为正确,结果导致精确度发生很大的改变,导致梯度信息不连续.从 阅读全文
posted @ 2021-07-31 17:16 收购阿里巴巴 阅读(314) 评论(0) 推荐(0)
14：2D函数优化实例
摘要：1：2D函数Himmelblau (1)用3D曲线表示2D函数 4个最小解 （2）pytorch中寻找最小解 第一步：先将2D函数Himmelblau用pytorch实现，并且将其进行可视化 【注】x,y分别是一个点的x坐标和y坐标。np.meshgrid(x,y)可以实现将x,y的范围传入其中。X 阅读全文
posted @ 2021-07-26 23:08 收购阿里巴巴 阅读(73) 评论(0) 推荐(0)
13.MLP（）的反向传播
摘要：1：MLP(Multi-Layer Perceptron)反向传播 （1）多层感知机模型 （2）反向传播的推到过程（主要使用链式法则）： 【注】 W的上标表示第几层（也即是第几层输出层）。W的第一下标表示输入层的第几号节点，下标表示加权求和层（输出层）的第几号节点。 （3）最终推导结果： （4）单层 阅读全文
posted @ 2021-07-26 21:40 收购阿里巴巴 阅读(277) 评论(0) 推荐(0)
12.链式法则
摘要：1：链式法则：用于对权值参数的优化 （1）链式法则的求导过程 （2）在pytorch中验证链式法则 阅读全文
posted @ 2021-07-26 10:59 收购阿里巴巴 阅读(855) 评论(0) 推荐(0)
11.感知机
摘要：1：单一输出单层感知机 （1）单一输出单层感知机的优化过程（损失函数对权重的微分过程） [注] x的上标表示第几层，下标表示第几号节点。 W的上标表示第几层（也即是第几层输出层）。W的第一下标表示输入层的第几号节点，下标表示加权求和层（输出层）的第几号节点。 O输出的上标表示第几层，下标表示第几号节 阅读全文
posted @ 2021-07-25 17:57 收购阿里巴巴 阅读(54) 评论(0) 推荐(0)
10.1激活函数及其梯度（softmax求梯度）
摘要：1：softmax (1)softmax函数适用于多分类，可以将进行[0,1]之间的压缩，并且保证和为1. （2）softmax函数求导 (3)softmax函数在pytorch中的使用 [注]求梯度有两种，分别为：p.backward()以及torch.autograd.grad(). 当p.ba 阅读全文
posted @ 2021-07-25 16:15 收购阿里巴巴 阅读(467) 评论(0) 推荐(0)
10.损失函数及其梯度（均方差梯度[使用线性函数y=w*x+b作为激活函数]）
摘要：1.MSE（均方差）梯度 (1)均方差MSE （2）MSE求梯度 【注】例如网络形式为线性感知机：ƒ(x)=w*x+b这里只是举例，具体用什么样的函数需要根据实际的网络结构。 对w求导则是：Δƒw(w)/Δw 对b求导则是：Δƒb(b)/Δb （3）均方差在pytorch中如何求梯度 （3.1.1） 阅读全文
posted @ 2021-07-23 19:30 收购阿里巴巴 阅读(1023) 评论(0) 推荐(0)
9：常见函数以及激活函数的梯度
摘要：1：常见函数的梯度 【注】 导数：一维函数的导数（梯度）没有方向是一个标量 梯度：有方向的向量 2：激活函数的梯度 (2.1)激活函数：Sigmoid/Logistic [注]sigmoid函数输出范围为【0，1】，多用于概率，图像的rgb通道等。 [注]sigmoid函数在torch中的使用有两种 阅读全文
posted @ 2021-07-15 20:20 收购阿里巴巴 阅读(251) 评论(0) 推荐(0)
8：梯度
摘要：1：导数/偏微分/梯度 区别： （1） 导数是一个没有方向之分的标量。 偏微分是一个有多个方向的标量。 梯度是一个向量。 （2） 导数反应的是变化量 2：如何搜索极小值：可能影响优化器的几种因素 （1）局部极小值 实际中的局部最小值实例： （2）鞍点 (3)初始状态/学习率/动量 （3.1.1）初始 阅读全文
posted @ 2021-07-12 11:38 收购阿里巴巴 阅读(117) 评论(0) 推荐(0)
7:高阶张量操作
摘要：1：where(condition,x,y) [注]返回一个和a,b shape相同的tensor,返回的tensor内容根据选择条件condition从a,b中进行选择。 如上图：选择条件为cond>0.5会返回一个元素类型为torch.unit8类型的0 or 1的tensor。0代表false 阅读全文
posted @ 2021-07-11 17:41 收购阿里巴巴 阅读(53) 评论(0) 推荐(0)
6:统计属性
摘要：1：求范数norm(int)/norm(int,dim)当只有一个参数时表示求几范数，当有两个参数时第二个表示在哪一个索引维度求范数。 [注]在那个维度进行求范数时，哪个维度消失。例如图中shape为[2,2,2]的c在第0维度求范数则其shape变为[2,2] [注]较难理解因此进行详细刨析对于如 阅读全文
posted @ 2021-07-11 15:51 收购阿里巴巴 阅读(120) 评论(0) 推荐(0)
5：张量的基本运算
摘要：1：基本运算符（重载的+-*/或者函数add(a,b),sub(a,b),mul(a,b),div(a,b))实现基本的加减乘除。 【注】可以用eq()函数查看两种不同运算之后的维度信息是否相同，all()函数可以查看对用维度的数据元素是否相同。 2：matmul/mm/@都是矩阵相乘 【注】mm仅 阅读全文
posted @ 2021-07-10 16:48 收购阿里巴巴 阅读(354) 评论(0) 推荐(0)
4.1张量的操作（broadcasting维度自动扩张，拼接与拆分）
摘要：1：Broadcasting维度的自动扩张 特点：能够进行维度的自动扩张，而又不复制数据。 使用例如下图： 例如上图：A 形状为[4,32,14,14]的tensor与B 形状为[32]的tensor相加，首先需要右对齐，由于右对齐32与A最右边的 的14不匹配，故需要先手动添加两个维度生成B [3 阅读全文
posted @ 2021-07-10 10:50 收购阿里巴巴 阅读(134) 评论(0) 推荐(0)
4:张量操作
摘要：1：view reshape合并维度 【注】：合并维度。若：x=torch.randn(4,4)。x.view(-1,8)其中的-1为自动计算剩余维度的大小即为2。x.view(-1)其中的-1表示拉直张量。 2:unsqueeze()插入维度/squeeze()删除维度 【注】当参数为正数是在前面 阅读全文
posted @ 2021-07-09 11:23 收购阿里巴巴 阅读(85) 评论(0) 推荐(0)
3：索引与切片
摘要：1： [注]：0:28:2其含义为（start:end:step）当step省略时默认为步长为1. 0：28（start:end）start和end都可以省略，省略表示无限制。 2： index_select(index1,index2)参数index1为一个标量:表示维度的索引，参数index2时 阅读全文
posted @ 2021-07-08 19:58 收购阿里巴巴 阅读(70) 评论(0) 推荐(0)
2：pytorch的基本数据类型以及张量的创建
摘要：1：基本数据类型 【注】pytorch中没有string类型。表示string类型需要用到编码表示：例如：one-hot编码，Eembedding编码 2:创建张量 【注】可以用isinstance(data,dataType)检验数据类型。 【注】在pytorch0.3及0.3之前没有标量的概念。 阅读全文
posted @ 2021-07-08 11:16 收购阿里巴巴 阅读(87) 评论(0) 推荐(0)
1:深度学习和pytorch（深度学习的常用框架，开发环境的安装）
摘要：1:常用的深度深度学习框架 Theano tensorflow keras MXNet CNTK Caffe pytorch:优点：GPU加速，自动求导，常用API 2：开发环境的安装 windows下步骤： 1：Anaconda安装：安装python以及其集成工具，由于anaconda带有pyth 阅读全文
posted @ 2021-07-06 22:09 收购阿里巴巴 阅读(245) 评论(0) 推荐(0)
1:DNS详解（DNS介绍，DNS报文详解，DNS查询详解，DNS域名解析过程）
摘要：1：NDS介绍 DNS通常由其他应用层协议使用(如HTTP、SMTP、FTP)，将主机名解析为IP地址，其运行在UDP（非连接）之上，使用53号端口。DNS除了提供主机名到IP地址转换外，还提供如下服务：主机别名、邮件服务器别名、负载分配等。 2：DNS报文详解 转自： https://www.zh 阅读全文
posted @ 2021-07-02 11:16 收购阿里巴巴 阅读(2017) 评论(0) 推荐(0)