2018 年 11月随笔档案 - 狂徒归来

混淆矩阵、准确率、召回率、ROC曲线、AUC

摘要：混淆矩阵、准确率、召回率、ROC曲线、AUC 假设有一个用来对猫（cats）、狗（dogs）、兔子（rabbits）进行分类的系统，混淆矩阵就是为了进一步分析性能而对该算法测试结果做出的总结。假设总共有 27 只动物：8只猫， 6条狗，13只兔子。结果的混淆矩阵如上图所示，我们可以发现，只有主对角线阅读全文

posted @ 2018-11-30 15:29 狂徒归来阅读(5684) 评论(0) 推荐(0) 编辑

backpropagation算法示例

摘要：backpropagation算法示例下面举个例子，假设在某个mini batch的有样本X和标签Y，其中

X \in R^{m \times 2}, Y \in R^{m \times 1}

$X\in R^{m\times 2}, Y\in R^{m\times 1}$ ，现在有个两层的网络，对应的计算如下： $$ \begin{split} i_1 &= XW_1+ b_1\\ 阅读全文

posted @ 2018-11-27 21:01 狂徒归来阅读(473) 评论(0) 推荐(0) 编辑

spaCy 并行分词

摘要：spaCy 并行分词在使用spacy的时候，感觉比nltk慢了许多，一直在寻找并行化的方案，好在找到了，下面给出spaCy并行化的分词方法使用示例：阅读全文

posted @ 2018-11-23 16:11 狂徒归来阅读(1796) 评论(0) 推荐(0) 编辑

点到平面的距离计算

摘要：点到平面的距离计算如上图所示，假设现在有一平面

S

$S$

W X + b = 0

$WX+b = 0$ 其中

W, X

$W,X$ 都是向量，现有平面外一点

Q

$Q$ ，求

Q

$Q$ 到平面的距离。我们假设平面内有一点

P

$P$ ，并且平面的法向量为

\vec{n} = (W_{1}, W_{2}, \dots, W_{n})

$\overrightarrow{n}=(W_1, W_2, \cdots, W_n)$ ，那么有$ 阅读全文

posted @ 2018-11-14 14:04 狂徒归来阅读(4011) 评论(0) 推荐(1) 编辑

Backpropagation Through Time (BPTT) 梯度消失与梯度爆炸

摘要：Backpropagation Through Time (BPTT) 梯度消失与梯度爆炸下面的图显示的是RNN的结果以及数据前向流动方向假设有 $$ \begin{split} h_t &= \tanh W

(\begin{matrix} x_{t} \\ h_{t 1} \end{matrix})

$\begin{pmatrix}x_t \\ h_{t 1}\end{pmatrix}$ \\ 阅读全文

posted @ 2018-11-14 10:57 狂徒归来阅读(850) 评论(0) 推荐(0) 编辑

深度学习中常用的优化器简介

摘要：深度学习中常用的优化器简介 SGD mini batch SGD 是最基础的优化方法，是后续改良方法的基础。下式给出SGD的更新公式

θ_{t} = θ_{t 1} α \nabla_{θ} J (θ)

$\theta_t = \theta_{t 1} \alpha\nabla_\theta J(\theta)$ 其中

α

$\alpha$ 是学习速率。 SGD wi 阅读全文

posted @ 2018-11-07 12:57 狂徒归来阅读(1368) 评论(0) 推荐(0) 编辑

GloVe词分布式表示

摘要：GloVe 模型介绍下面的内容主要来自https://blog.csdn.net/u014665013/article/details/79642083 GloVe的推导 GloVe是基于共现信息来获得词的分布表示的，所以需要统计词的共现对信息。在设定的窗口内，统计中心词

k

$k$ 与其上下文词

i

$i$ 的阅读全文

posted @ 2018-11-07 12:07 狂徒归来阅读(564) 评论(0) 推荐(0) 编辑

GBDT 与 XGBoost

摘要：GBDT & XGBoost 回归树单棵回归树可以表示成如下的数学形式

f (x) = \sum_{j}^{T} w_{j} I (x \in R_{j})

$f(x) = \sum_j^Tw_j\mathbf{I}(x\in R_j)$ 其中

T

$T$ 为叶节点的个数，

I

$\mathbf{I}$ 为指示函数。回归树的参数学习当给定树的结构的时候，即知道哪些点划分到哪些叶节点后，阅读全文

posted @ 2018-11-06 14:48 狂徒归来阅读(286) 评论(0) 推荐(0) 编辑

对数线性模型与线性链条件随机场

摘要：对数线性模型与线性链条件随机场对数线性模型我们从书本上知道线性链条件随机场就是对数线性模型，逻辑回归也是对数线性模型。对数线性模型的一般形式如下所示:

p (y | x; w) = \frac{\exp \sum_{j = 1}^{J} w_{j} F_{j} (x, y)}{Z (x, w)}

$p(y|x;w)=\dfrac{\exp\sum_{j=1}^Jw_jF_j(x, y)}{Z(x, w)}$ 其中

x, y

$x,y$ 分别是输阅读全文

posted @ 2018-11-05 15:41 狂徒归来阅读(631) 评论(0) 推荐(0) 编辑

狂徒归来

人生如逆旅，我亦是行人

11 2018 档案

公告

搜索

最新随笔

随笔分类 (1067)

随笔档案 (1054)

阅读排行榜

评论排行榜

推荐排行榜

最新评论

为什么这么好的文章，阅读量到了2万，评论和点赞那么少啊？