随笔分类 - 深度学习
摘要：引言 决策树(Decision Tree)是机器学习中一种经典的分类与回归算法。本文主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，决策树模型可以认为是 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。决策树学习通常包括3个步骤：
阅读全文
摘要：评价指标是针对将相同的数据，输入不同的算法模型，或者输入不同参数的同一种算法模型，而给出这个算法或者参数好坏的定量指标。 在模型评估过程中，往往需要使用多种不同的指标进行评估，在诸多的评价指标中，大部分指标只能片面的反应模型的一部分性能，如果不能合理的运用评估指标，不仅不能发现模型本身的问题，而且会
阅读全文
摘要：[TOC] 前言 因为工作需求，最近又重新温习了一下Git操作，遂总结了一篇Git常用操作指南，方便日后学习查阅，本博客精简提炼了在开发过程中Git经常用到的核心命令，主要参考了《 "廖雪峰老师的Git教程" 》，希望对大家学习使用Git能带来帮助。 Git简介 Git是Linux之父Linus的第
阅读全文
摘要：[TOC] 引言 接触深度学习已经快两年了，之前一直使用 "Google Colab" 和 "Kaggle Kernel" 提供的免费GPU（Tesla K80）训练模型（最近Google将Colab的GPU升级为 Tesla T4 ，计算速度又提升了一个档次），不过由于内地网络的原因，Google
阅读全文
摘要：Transformer注解及PyTorch实现 Transformer注解及PyTorch实现 原文：http://nlp.seas.harvard.edu/2018/04/03/attention.html 作者：Alexander Rush 转载自机器之心：https://www.jiqizhi
阅读全文
摘要：BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding 谷歌AI语言组论文《BERT：语言理解的深度双向变换器预训练》，介绍一种新的语言表征模型BERT——来自变换器的双向编码器表征量。异于最新语
阅读全文
摘要：[TOC] 线性代数 一、基本知识 1. 本文中所有的向量都是列向量的形式： $$\mathbf{\vec x}=(x_1,x_2,\cdots,x_n)^T=\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}$$ 本书中所有的矩 $\mathbf
阅读全文
摘要：在机器学习领域，对于大多数常见问题，通常会有多个模型可供选择。当然，每个模型会有自己的特性，并会受到不同因素的影响而表现不同。 每个模型的好坏是通过评价它在某个数据集上的性能来判断的，这个数据集通常被叫做“验证/测试”数据集。这个性能由不同的统计量来度量，包括准确率（ accuracy ）、精确率（
阅读全文
摘要：本文详细解释了 Faster R-CNN 的网络架构和工作流，一步步带领读者理解目标检测的工作原理，作者本人也提供了 Luminoth 实现，供大家参考。 Luminoth 实现：https://github.com/tryolabs/luminoth/tree/master/luminoth/mo
阅读全文
摘要：参考： https://www.tensorflow.org/programmers_guide/variable_scope 举例说明 TensorFlow中的变量一般就是模型的参数。当模型复杂的时候共享变量会无比复杂。 官网给了一个case，当创建两层卷积的过滤器时，每输入一次图片就会创建一次过
阅读全文
摘要：卷积神经网络作为深度学习的典型网络，在图像处理和计算机视觉等多个领域都取得了很好的效果。 Paul-Louis Pröve在Medium上通过这篇文章快速地介绍了不同类型的卷积结构（Convolution）及优势。为了简单起见，本文仅探讨二维卷积结构。 卷积 首先，定义下卷积层的结构参数。 △ 卷积
阅读全文
摘要：Hinge Loss 解释 SVM 求解使通过建立二次规划原始问题，引入拉格朗日乘子法，然后转换成对偶的形式去求解，这是一种理论非常充实的解法。这里换一种角度来思考，在机器学习领域，一般的做法是经验风险最小化 ERM ，即构建假设函数为输入输出间的映射，然后采用损失函数来衡量模型的优劣。求得使损失最
阅读全文
摘要：最近一直在研究深度语义匹配算法，搭建了个模型，跑起来效果并不是很理想，在分析原因的过程中，发现注意力模型在解决这个问题上还是很有帮助的，所以花了两天研究了一下。 此文大部分参考深度学习中的注意力机制(2017版) 张俊林的博客，不过添加了一些个人的思考与理解过程。在github上找到一份基于kera
阅读全文
摘要：[TOC] 前言 配置环境，研究了一整天，踩了很多坑，在网上找了很多资料，发现基本上都没非常明确的教程，所以今天想分享一下配置tensorflow GPU版本的经验，希望能让各位朋友少走些弯路。（PS：一切的前提，你需要有一张Nvidia显卡。我的显卡是 GT940MX） Tensorflow有两个
阅读全文
摘要：2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度学习（D
阅读全文
摘要：（1）词集模型（Set Of Words）： 单词构成的集合，集合自然每个元素都只有一个，也即词集中的每个单词都只有一个。 （2）词袋模型（Bag Of Words）： 如果一个单词在文档中出现不止一次，并统计其出现的次数（频数）。 为文档生成对应的词集模型和词袋模型 考虑如下的文档： list o
阅读全文
摘要：导语 在NLP领域，语义相似度的计算一直是个难题：搜索场景下Query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN DSSM、LSTM DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。
阅读全文
摘要：最近太忙已经好久没有写博客了，今天整理分享一篇关于损失函数的文章吧，以前对损失函数的理解不够深入，没有真正理解每个损失函数的特点以及应用范围，如果文中有任何错误，请各位朋友指教，谢谢~ 损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,
阅读全文
摘要：本文介绍了tensorflow的常用函数，源自网上整理。 TensorFlow 将图形定义转换成分布式执行的操作, 以充分利用可用的计算资源(如 CPU 或 GPU。一般你不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可
阅读全文
摘要：目标检测是很多计算机视觉任务的基础，不论我们需要实现图像与文字的交互还是需要识别精细类别，它都提供了可靠的信息。本文对目标检测进行了整体回顾，第一部分从RCNN开始介绍基于候选区域的目标检测器，包括Fast R-CNN、Faster R-CNN 和 FPN等。第二部分则重点讨论了包括YOLO、SSD
阅读全文