凸优化--单纯形方法
摘要：一定注意凸优化成立的条件。 凸优化问题经过化简是凸优化就可以。 线性规划问题的基本可行解对应可行域的顶点。最优解一定在可行域的顶点上。 单纯性法求解过程：
阅读全文
posted @ 2020-04-19 18:53
04 2020 档案
迁移学习
摘要：常见的迁移学习方法分类： 基于实例的迁移：通过权重重用源域和目标域的样例进行迁移。 基于特征的迁移：将源域和目标域的特征变换到相同的空间。 基于模型的迁移：将源域和目标域的参数共享模型。 基于关系的迁移：利用源域中逻辑网络关系进行迁移。 同构迁移学习是特征相同或者特征维度相同，异构迁移学习是特征不同
阅读全文
posted @ 2020-04-15 21:09
温馨提示--如何成为一名优秀的机器学习工程师
摘要：人工智能的浪潮不断推进，相信很多读者和我一样加入了机器学习的队伍，我的工作内容很全面：从数据收集、数据处理、建模、实施服务，业务范围涉及你能想到的每一个产业。在这个岗位上呆久了，发现很多事情做起来都是有规律可循的，总结了一名优秀的机器学习工程师需要注意的11个方面，希望读者在阅读后，能对机器学习的从
阅读全文
posted @ 2020-04-15 09:45
Word2Vec
摘要：Word2Vec是词的一种表示，将词以固定的维数的向量表示出来。其优点：基于词袋模型的独热编码方式在判定同义词和相似句子的时候效果不是很好，而Word2Vec充分利用上下文信息，对上下文进行训练，每个向量不在是只有一个位置为1，其余位置为0 的稀疏向量。而是稠密的固定维度的向量。实现方式主要有一下两
阅读全文
posted @ 2020-04-14 19:34
Seq2Seq
摘要：rnn结构根据输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。 one to one 结构，仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。one to many 结构，给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。ma
阅读全文
posted @ 2020-04-09 21:10
机器学习角度重新认识矩阵
摘要：我们一直对矩阵的认识都只是停留在书本上，从来没和实际结合起来，也没有从应用和实践的角度理解数学的本质，数学的本质就是解决问题，更简单直接的解决问题。 上图为简单的矩阵计算的题，通过以下两种方式理解矩阵： 通过行视图可以理解为凸优化问题中的超平面，这个问题在运筹学中比较常见，可以看做优化问题寻找交集。
阅读全文
posted @ 2020-04-08 16:38
RNN、lstm和GRU推导
摘要：RNN：（Recurrent Neural Networks）循环神经网络 第t层神经元的输入，除了其自身的输入xt，还包括上一层神经元的隐含层输出st−1 每一层的参数U,W,V都是共享的 lstm：长短时记忆网络，是一种改进后的循环神经网络，可以解决RNN无法处理的长距离依赖问题。 原始 RNN
阅读全文
posted @ 2020-04-05 19:34
最优化方法之AdaGrad、RMSProp、Adam
摘要：结论： 1.简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同 2.效果是：在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小） 3.缺点是,使得学习率过早，过量的减少 4.在某些模型上效果
阅读全文
posted @ 2020-04-02 11:50
最优化算法Nesterov Momentum牛顿动量法
摘要：这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差 具体实现: 需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α每步迭代过程:
阅读全文
posted @ 2020-04-01 19:05
最优化算法动量法Momentum
摘要：动量法的结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。 4.通过速度v，来积累了之间梯度指数级衰减的平均，并且继
阅读全文
posted @ 2020-04-01 18:43
