03 2019 档案
摘要:一、流程图 domain模型:共分10类,样本量每个类别2万。 intent模型:共有10个intent模型,每个分为3~6类,样本量也在2万左右。 孪生神经网络用于处理两个输入"比较类似"的情况。比如,我们要计算两个句子或者词汇的语义相似度,使用siamese network比较适合
阅读全文
摘要:一、n-gram-model 谈到词向量则必须要从语言模型讲起,传统的统计语言模型是对于给定长度为m的句子,计算其概率分布P(w1, w2, ..., wm),以表示该句子存在的可能性。该概率可由下列公式计算得到: 但实际过程中句子的长度稍长便会为估计带来很大难度,因此n-gram 模型对上述计算进
阅读全文
摘要:1.时间窗口划分衍生特征 2.分解类别属性 主要采用one-hot或者编号。 3.分箱 有时候,将数值型属性转换成类别呈现更有意义,同时能使算法减少噪声的干扰,通过将一定范围内的数值划分成确定的块。举个例子,我们预测一个人是否拥有某款衣服,这里年龄是一个确切的因子。其实年龄组是更为相关的因子,所有我
阅读全文
摘要:一阶导为0不是极值点的充分条件,一阶导为0且二阶导非负是极小值的充要条件。 这是为什么呢?以一元函数的泰勒展开为例: 如果满足:一阶导为0,二阶导非负,从上式子可知,f(x) 一定不比 f(x0) 小,所以 f(x0)是极小值。 参考:https://cloud.tencent.com/develo
阅读全文
摘要:一、二分查找法 对于一个非负数n,它的平方根不会小于大于(n/2+1)。在[0, n/2+1]这个范围内可以进行二分搜索,求出n的平方根。 二、牛顿迭代法 牛顿迭代法原理如下: 计算x2 = A的解,令f(x)=x2-A,相当于求解f(x)=0的解,如左图所示 首先找到一个x0初始点,如果x0不是最
阅读全文
摘要:牛顿法,大致的思想是用泰勒公式的前几项来代替原来的函数,然后对函数进行求解和优化。牛顿迭代法和应用于最优化的牛顿法稍微有些差别。 牛顿迭代法 最优化的牛顿法 参考原文链接:https://www.cnblogs.com/jiaxin359/p/9484133.html
阅读全文
摘要:一、hive概述 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应
阅读全文
摘要:在约束最优化问题中,常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换为对偶问题,通过解对偶问题而得到原始问题的解。这是因为: 1)对偶问题的对偶是原问题; 2)无论原始问题与约束条件是否是凸的,对偶问题都是凹问题,加个负号就变成凸问题了,凸问题容易优化。 3)对偶问题可以给出
阅读全文
摘要:一、函数图形举例解析 函数极值判定定理 1)当该点导数存在,且该导数等于零时,则该点为极值点; 2)当该点导数不存在,左导数和右导数的符号相异时,则该点为极值点。 以一维函数为例,假设原损失函数L曲线如下图: 其中X1是函数的极值点,所以L`(x1)=0。 1、求含L2正则化的极值点 令:f(x)=
阅读全文
摘要:1. 已知一随机发生器,产生0的概率是p,产生1的概率是1-p,现在要你构造一个发生器,使得它产生0和1的概率均为1/2 由题目有:0 : p1 : 1-p 连续产生两个数,其组合以及概率如下:00 : p201 : p*(1-p)10 : (1-p)*p11 : (1-p)2 可以发现 01 和
阅读全文
摘要:一、产生原因 假设我们使用的激活函数为sigmoid函数。其导数为g(x)*(1-g(x)),图像如下: 也就是sigmoid函数导数最大值为0.25。 当我们根据链式法则进行反向求导的时候,公式最终是权重和sigmoid导数的连乘形式,如下: 如果使用一个均值0标准差为1的高斯分布来初始化权值,所
阅读全文