limingqi - 博客园

温馨提示--如何成为一名优秀的机器学习工程师

摘要：人工智能的浪潮不断推进，相信很多读者和我一样加入了机器学习的队伍，我的工作内容很全面：从数据收集、数据处理、建模、实施服务，业务范围涉及你能想到的每一个产业。在这个岗位上呆久了，发现很多事情做起来都是有规律可循的，总结了一名优秀的机器学习工程师需要注意的11个方面，希望读者在阅读后，能对机器学习的从阅读全文

posted @ 2020-04-15 09:45 limingqi 阅读(207) 评论(0) 推荐(0) 编辑

Word2Vec

摘要： Word2Vec是词的一种表示，将词以固定的维数的向量表示出来。其优点：基于词袋模型的独热编码方式在判定同义词和相似句子的时候效果不是很好，而Word2Vec充分利用上下文信息，对上下文进行训练，每个向量不在是只有一个位置为1，其余位置为0 的稀疏向量。而是稠密的固定维度的向量。实现方式主要有一下两阅读全文

posted @ 2020-04-14 19:34 limingqi 阅读(452) 评论(0) 推荐(0) 编辑

Seq2Seq

摘要： rnn结构根据输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。 one to one 结构，仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。one to many 结构，给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。ma 阅读全文

posted @ 2020-04-09 21:10 limingqi 阅读(487) 评论(0) 推荐(0) 编辑

机器学习角度重新认识矩阵

摘要：我们一直对矩阵的认识都只是停留在书本上，从来没和实际结合起来，也没有从应用和实践的角度理解数学的本质，数学的本质就是解决问题，更简单直接的解决问题。上图为简单的矩阵计算的题，通过以下两种方式理解矩阵：通过行视图可以理解为凸优化问题中的超平面，这个问题在运筹学中比较常见，可以看做优化问题寻找交集。阅读全文

posted @ 2020-04-08 16:38 limingqi 阅读(800) 评论(0) 推荐(0) 编辑

RNN、lstm和GRU推导

摘要： RNN：（Recurrent Neural Networks）循环神经网络第t层神经元的输入，除了其自身的输入xt，还包括上一层神经元的隐含层输出st−1 每一层的参数U,W,V都是共享的 lstm：长短时记忆网络，是一种改进后的循环神经网络，可以解决RNN无法处理的长距离依赖问题。原始 RNN 阅读全文

posted @ 2020-04-05 19:34 limingqi 阅读(956) 评论(0) 推荐(0) 编辑

最优化方法之AdaGrad、RMSProp、Adam

摘要：结论： 1.简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同 2.效果是：在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小） 3.缺点是,使得学习率过早，过量的减少 4.在某些模型上效果阅读全文

posted @ 2020-04-02 11:50 limingqi 阅读(512) 评论(0) 推荐(0) 编辑

最优化算法Nesterov Momentum牛顿动量法

摘要：这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差具体实现: 需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α每步迭代过程: 阅读全文

posted @ 2020-04-01 19:05 limingqi 阅读(1115) 评论(0) 推荐(0) 编辑

最优化算法动量法Momentum

摘要：动量法的结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。 4.通过速度v，来积累了之间梯度指数级衰减的平均，并且继阅读全文

posted @ 2020-04-01 18:43 limingqi 阅读(2156) 评论(0) 推荐(0) 编辑

SMOTE算法解决样本不平衡

摘要：首先，看下Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法：抽样常规的包含过抽样、欠抽样、组合抽样过抽样：将样本较少的一类sample补齐欠抽样：将样本较多的一类sample压缩组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于约定量级N 这种方法阅读全文

posted @ 2020-03-26 19:50 limingqi 阅读(5522) 评论(0) 推荐(0) 编辑

LSTM实现手写数据集

摘要： import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport pandas as pd#导入mnist数据mnist = pd.read_data_sets("data/", one_hot=True)# 阅读全文

posted @ 2020-03-23 21:37 limingqi 阅读(1336) 评论(0) 推荐(0) 编辑