摘要：
损失函数度量的是训练的模型与真实模型之间的距离。一般以最小化损失函数为目标，对模型进行不断优化。 常见的损失函数在计算过程中都会接受两个参数：模型预测值y_pred和正确答案y_true。 由于背后的数学计算过程相同，所以即使是不同深度学习框架这些损失函数的api也是大同小异。本文以keras为例， 阅读全文
posted @ 2020-08-02 17:23
YoungF
阅读(2216)
评论(0)
推荐(0)
摘要：
性质 判别模型 分类模型 模型 \[ P(Y=1|x) = \frac{e^{w \cdot x}}{1+e^{w \cdot x}}\\ P(Y=0|x)=\frac{1}{1+e^{w \cdot x}} \] 损失函数 最大似然估计 \[ \begin{aligned} L(w) & = \p 阅读全文
posted @ 2020-08-01 00:30
YoungF
阅读(123)
评论(0)
推荐(0)
摘要：
参数估计(Parameter Estimate)就是通过一系列算法，来求出模型的最优参数。在各个机器学习深度学习的框架里，都变成了optimizer的活了。 其实这个名字很奇怪，但是在比较早的机器学习论文里都是这么叫的，我们重点来关注下里面涉及的一些算法。 这里主要关注的是 最小二乘法 梯度下降 牛 阅读全文
posted @ 2020-08-01 00:29
YoungF
阅读(1145)
评论(0)
推荐(0)
摘要：
注意力的种类有如下四种： 加法注意力, Bahdanau Attention 点乘注意力, Luong Attention 自注意力, Self-Attention 多头点乘注意力, Multi-Head Dot Product Attention（请转至Transformer模型） 1. Bahd 阅读全文
posted @ 2020-08-01 00:27
YoungF
阅读(2274)
评论(0)
推荐(0)
摘要：
01 《清平调·云想衣裳花想容》 李白 云想衣裳花想容， 春风拂槛露华浓。 若非群玉山头见， 会向瑶台月下逢。 02 《离思五首·其四》 元稹 曾经沧海难为水，除却巫山不是云。 取次花丛懒回顾，半缘修道半缘君。 03 叶底藏花一度，梦里踏雪几回。 ——《一代宗师》 04 伊人何在，总在寒冷清秋！ — 阅读全文
posted @ 2020-08-01 00:23
YoungF
阅读(330)
评论(0)
推荐(0)
摘要：
Text preprocessing is an essential part of NLP tasks. Conversion from Complicated Chinese to Simple Chinese The code below has a dependency on two pyt 阅读全文
posted @ 2020-08-01 00:17
YoungF
阅读(192)
评论(0)
推荐(0)
摘要：
前言 线性代数中介绍了方阵的特征值分解，将其一般化到任意形状的矩阵对应奇异值分解。 本文暂时假设所有矩阵都为实矩阵。 特征值分解(Eigenvalue Decomposition, EVD) 线性代数中的相似对角化 对于方阵$A_{n \times n}\(，求解其特征值\)\lambda_1, . 阅读全文
posted @ 2020-04-29 15:20
YoungF
阅读(965)
评论(0)
推荐(0)
摘要：
熵是信息论非常重要的概念。本文简要介绍一下几个概念： 熵 联合熵 条件熵 相对熵 交叉熵 熵 随机变量$X$的分布的熵为： \[ H(X) = - \sum_x p(x)\log p(x) \] 性质： 熵是随机变量不确定性的度量，随机变量的取值个数越多，不确定性越大，混乱程度就越大，信息熵越大。 阅读全文
posted @ 2020-04-28 15:37
YoungF
阅读(2368)
评论(0)
推荐(0)
摘要：
1 总览 NumPy是基于Python的科学计算包，主要用来进行科学计算。 2 ndarray ndarray全名叫做n dimension array，习惯称为多维数组。ndarray既可以表示标量，还可以表示向量、矩阵，甚至是张量。 ndarray有如下属性： dtype 数据类型 shape 阅读全文
posted @ 2019-12-18 17:05
YoungF
阅读(524)
评论(0)
推荐(1)
摘要：
通过命令行运行Python脚本时，可以通过 来高效地接受并解析命令行参数。 流程 新建一个 类对象，然后来添加若干个参数选项，最后通过 方法解析并获得命令行传来的参数。 最后通过 来获取传递过来的参数。 添加参数选项 使用 来添加参数选项 对以上代码做出如下解释： 在使用 来添加参数选项的时候，首先 阅读全文
posted @ 2019-12-16 10:21
YoungF
阅读(14242)
评论(0)
推荐(0)
浙公网安备 33010602011771号