随笔分类 - 机器学习
摘要：前几篇博文中介绍了Transformer，由于其优越的性能表现，在工业界使用的越来越广泛，同时，配合迁移学习理论，越来越多的Transformer预训练模型和源码库逐渐开源，Huggingface就是其中做的最为出色的一家机构。Huggingface是一家在NLP社区做出杰出贡献的纽约创业公司，其所提供的大量预训练模型和代码等资源被广泛的应用于学术研究当中。Huggingface所开源的Transformers提供了数以千计针对于各种任务的预训练模型模型，开发者可以根据自身的需要，选择模型进行训练或微调，也可阅读api文档和源码， 快速开发新模型。
阅读全文
摘要：训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboard就完美的提供了这些功能。不过现在经过Pytorch团队的努力，TensorBoard已经集成到了Pytorch中，只要安装有pytorch也可以直接使用TensorBoard。
Tensorboard同时提供了后端数据记录功能和前端数据可视化功能。通过后端数据记录功能，我们可以将需要追踪的性能指标写入到指定文件；通过前端数据可视化功能，我们可是实时查看当前训练情况。
阅读全文
摘要：古语有言：“它山之石可以攻玉”，迁移学习就是这么一种思想，将在其他训练集上训练好的神经网络迁移到目标任务上。自打迁移学习的思想提出后，在工业实践上，就很少有人会从头开始（随机初始化）训练网络。
阅读全文
摘要：2017年6月谷歌发布论文《Attention is All You Need》，提出Transformer这一引燃机器学习领域的算法。数年过去，Transformer算法在计算机视觉、自然语言处理等众多应用领域展现了极为惊艳的表现。
大家都是神经网络，为何你的腰椎间盘却如此突出？
可以说，Transformer是完全基于自注意力机制的一个深度学习模型，且适用于并行化计算，导致它在精度和性能上都要高于之前流行的RNN循环神经网络。
在接下来的篇幅中，我们来详细梳理Transformer算法各个细枝末节原理，并结合B站视频教程：【Transformer为什么比CNN好！】中的代码实现，展示Transformer的整个建模流程。
阅读全文
摘要：生成对抗网络（Generative Adversarial Networks, GAN）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的学习方法之一。
阅读全文
摘要：YOLO系列算法是当前目标检测领域的当红算法，是一阶段目标检测算法的经典代表，正如其名称“You Only Look Once”所述，其只需要一趟完整的过程即可完成目标的识别和位置定位，能够近乎实时得完成目标检测任务，堪称众多目标检测算法中速度之最。
阅读全文
摘要：循环神经网络（Recurrent Neural Network，RNN）是一种别具一格的网络模型，其循环元节点不仅可以接上来自上层的输入数据，也可以接收自身上一次迭代的输出，基于这种特殊的结构，循环神经网络拥有了短期记忆能力，通过“记忆”保存了数据间的关联关系，所以尤为适合处理语言、文本、视频等时序相关的数据。
阅读全文
摘要：蒙特卡罗（MC，Monte Carlo）方法是一种随机采样模拟求解的方法，又被称统计试验方法或者统计模拟方法。起初，蒙特卡罗方法的提出是20世纪40年代冯·诺伊曼，斯塔尼斯拉夫·乌拉姆和尼古拉斯·梅特罗波利斯等人为推进研制原子弹的“曼哈顿”计划而提出，但大概是因为蒙特卡罗方法是一种随机模拟的方法，与赌博场里面的扔骰子的过程十分相似而以赌城的名字命名这一方法。现如今，这一方法已被广泛应用到科学计算的众多应用领域中。
阅读全文
摘要：GoogLeNet是在2014年由Google团队在论文《Going deeper with convolutions》中提出的一个卷积神经网络算法，并成功斩获当年的ImageNet大赛的冠军（上篇博客中的VGG网络获得第二名）。与VGG网络相比，GoogLeNet对网络结构做出了根据创新性的大胆改变
阅读全文
摘要：VGG的实质是AlexNet结构的增强版，它将卷积层的深度提升到了19层，并且在2014年的ImageNet大赛中的定位问题中获得了亚军（冠军是GoogLeNet，将在下一篇博客中介绍）。
阅读全文
摘要：上文中实现了LeNet-5卷积网络，不可否认这是一个十分经典的网络结构，但是迫于种种复杂的现实场景限制，只能在一些领域应用，所以在接下来的10年间，卷积网络的锋芒一度被SVN算法覆盖，指导2012年AlexNet的提出。
阅读全文
摘要：LeNet-5科学家Yann LeCun在1998年发表论文《Gradient based learning applied to document-recognition》上提出的一个神经网络模型，是最早期的卷积神经网络，论文中，作者将LeNet-5应用于于灰度图像的数字识别中获得了不错的效果。关于LeNet-5卷积神经网络原理，在上一篇介绍卷积神经网络入门博客中已经阐述清楚，本篇中，我们主要对LeNet-5使用TensorFlow进行实现。
阅读全文
摘要：卷积神经网络（Convolutional Neural Networks）,通常我们将之简称为ConvNets或者CNN，它是一种在图像识别和分类领域十分流行且行之有效的神经网络。目前，CNN网络已经作为一种非常重要且实用的工具成功应用于人脸识别、机器人和自动驾驶中的目标识别、信号灯识别等应用中。因此，学习卷积神经网络是以前十分有必要的事情。
阅读全文
摘要：人工神经网络（Artificial Neural Network，ANN） 是一种受人脑生物神经网络信息处理方式启发而诞生的一种计算模型，得益于语音识别、计算机视觉和文本处理方面的许多突破性成果，人工神经网络在机器学习研究和工业领域引起了强烈反响。本篇博客将对人工神经网络算法进行介绍。
阅读全文
摘要：梯度提升树算法（Gradient Boosting Decision Tree，GBDT）是一个非常经典的机器学习算法，和我们前面介绍过的Adaboost算法一样，都是提升学习系列算法中的一员。从“梯度提升树”这个算法名称中我们也可以看出，这又是一个决策树的集成算法，更进一步地说，这个算法是以CART决策树算法作为基学习算法的一种集成算法。对于CART决策树算法，在之前的博客中已经有详细的介绍，在阅读本文之前请务必先理解CART决策树算法。接下来，本文将会从提升树开始，逐渐深入的介绍GBDT算法。
阅读全文
摘要：在展开数据分析工作时，我们经常会面临两种困境，一种是原始数据中特征属性太少，“巧妇难为无米之炊”，很难挖掘出潜在的规律，对于这种情况，我们只能在收集这一环节上多下功夫；另一种困境刚好相反，那就是特征属性太多，这真是一种幸福得烦恼，因为特征属性多就意味着信息量大，可挖掘的价值就大，但另一方面也可能造成过拟合和计算量的急剧增大，对于这一问题，最好的方法就是在预处理阶段对数据进行降维。
阅读全文
摘要：在上一篇博客中，我们总结了集成学习的原理，并展开介绍了集成学习中Bagging和随机森林这一分枝算法，在本篇博客中，我们继续介绍另一个分枝——Boosting，并对Boosting系列中的经典算法Adaboost展开分析。
阅读全文
摘要：集成学习算法是当下炙手可热的一类算法，在诸多机器学习大赛中都频繁出现它的身影。准确来说，集成学习算法并不是一个单独的机器学习算法，而是通过构建多个学习器，博采众家之长，共同求解问题的一种思想。
阅读全文
摘要：预处理操作是机器学习整个周期中必不可少的一个过程，也是最能快速改善模型性能的一个过程，往往稍微转换一下特征属性的形态，就能得到性能的极大提升。当然，数据预处理绝对也是耗时最长的一个过程，这一过程不仅要求洞悉整个数据集结构分布，还要探查每一个特征属性细节情况，并作出应对处理，使数据以最适合的状态传输给模型。
针对预处理操作，sklearn中提供了许多模块工具，灵活使用工具可以让数据预处理轻松很多。
本文简要介绍数据预处理中的一些主要方法，并结合sklearn中提供的模块进行实践。
阅读全文
摘要：SVM，Support Vector Machine，也就是我们中文名的支持向量机，我相信，只要是与机器学习有过照面的童鞋或多或少都听说过这个名字。作为机器学习家族中的老牌成员，其经典自不必说。从原理和特性上讲，SVM属于有监督学习中线性二分类中的一员，基本思想就是采用最大化间隔策略寻找一个最优决策超平面将所有样本点划分到平面两侧，实现对数据的分类。
阅读全文
