摘要:
1. 平方损失函数 L2范数损失函数,也被称为最小平方误差(LSE)。它是把目标值$y_i$与估计值$f(x_i)$的差值的平方和最小化。一般回归问题会使用此损失,离群点对次损失影响较大。 $L=\sum_{i=1}^n(y_i−f(x_i))^2$ 2.交叉熵损失函数 分类问题因为输出的是概率,故 阅读全文
摘要:
激活函数的作用 如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。故而激活函数可以增加模型的表达能力。 1.sigmoid函数 sigmoid函数也叫 Logistic 函数,用于隐层神经元输出,取值范围为(0,1),它可以将一个实数映射到(0,1)的 阅读全文
摘要:
一、什么是多态 多态性就是不同对象收到相同消息,产生不同的行为。可以用同样的接口访问功能不同的函数,从而实现“一个接口,多种方法”。 二、多态的种类 静态联编支持的多态性称为编译时多态性(静态多态性)。在C++中,编译时多态性是通过函数重载和模板实现的。利用函数重载机制,在调用同名函数时,编译系统会 阅读全文
摘要:
一、程序编译过程 程序编译流程: 预处理->编译->汇编->链接 具体的就是: 源代码(source coprede)→预处理器(processor)→编译器(compiler)→汇编程序(assembler)→目标程序(object code)→链接器(Linker)→可执行程序(executab 阅读全文
摘要:
1. Gradient Descent 1.1 Batch Gradient Descent 在每一轮的训练过程中,Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度,并用该梯度对模型参数进行更新,其中$\theta$是训练参数,$\eta$是学习率 阅读全文
摘要:
IOU是指两个bounding box的重合程度。 其中矩形框A和B的IOU=A∩B/A∪B,实际运算是对应的面积比较。 阅读全文
摘要:
官方原理图 前向传播过程:将数据按照batch维度分发到各个GPU上(平均分配),而后将模型拷贝到GPU,各GPU并行前向传播,将各个输出(o1、02、03、04)汇总到总的GPU。 后向传播过程:在总GPU上并行计算得到损失,并得到初始梯度;将各梯度分发到各GPU;并行计算梯度;汇总梯度,更新网络 阅读全文
摘要:
1.yolo:You Only Look Once: Unified, Real-Time Object Detection 论文地址:https://arxiv.org/pdf/1506.02640.pdf 处理流程:输入图片需要缩放到448*448,最后生成一个维度为7*7*30的tensor。 阅读全文
摘要:
一、线程与进程 1.概念 进程:是资源分配的基本单位,每一个进程都有它自己的地址空间,是正在运行的程序的实例。一般情况下,包括文本区域(text region)、数据区域(data region)和堆栈(stack region)。 文本区域存储处理器执行的代码; 数据区域存储变量和进程执行期间使用 阅读全文
摘要:
python装饰器(fuctional decorators)就是用于拓展原来函数功能的一种函数,目的是在不改变原函数名(或类名)的情况下,给函数增加新的功能。 1.函数作为参数值返回 def hi(name="yasoob"): def greet(): return "now you are i 阅读全文