随笔分类 - RNN(循环神经网络)
摘要：先介绍TensorRT、Triton的关系和区别： TensorRT：为inference（推理）为生，是NVIDIA研发的一款针对深度学习模型在GPU上的计算，显著提高GPU上的模型推理性能。即一种专门针对高性能推理的模型框架，也可以解析其他框架的模型如tensorflow、torch。 主要优化
阅读全文
摘要：RNN循环神经网络 RNN循环神经网络被广泛应用于自然语言处理中，对于处理序列数据有很好的效果，常见的序列数据有文本、语音等，至于为什么要用到循环神经网络而不是传统的神经网络，我们在这里举一个例子。 假如有一个智能订票系统，我只需要输入一句话，该系统能识别出我将在什么时间订购去哪里的车票。那么程序需
阅读全文
摘要：Transformer是一个利用注意力机制来提高模型训练速度的模型。关于注意力机制可以参看这篇文章，trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。 那什么是transfor
阅读全文
摘要：整个优化系列文章列表： Deep Learning 之 最优化方法 Deep Learning 最优化方法之SGD Deep Learning 最优化方法之Momentum（动量） Deep Learning 最优化方法之Nesterov(牛顿动量) Deep Learning 最优化方法之AdaG
阅读全文
摘要：TensorFlow是谷歌推出的深度学习平台，目前在各大深度学习平台中使用的最广泛。 一、安装命令 pip3 install -U tensorflow --default-timeout=1800 -i https://mirrors.ustc.edu.cn/pypi/web/simple 上面是
阅读全文
摘要：既然我们已经有了前馈网络和CNN，为什么我们还需要序列模型呢？这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。另一个例子是英文句子，它包含一系列的单词。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并非
阅读全文
摘要：神经网络的来源 神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被H
阅读全文
摘要：在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，然而，单纯学习机器学习的算法流程，可能仍然不会使用这些算法，尤其是应用到实际问题的时候，常常不知道怎么提取特征来建模。特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。 特征工程的重要意义数据特征会直接影响
阅读全文