随笔分类 - 小张机器学习基础
摘要：Transfer Learning 1、什么是迁移学习 2、如何实现迁移学习 1）source有label，target有label 一、model fine-tuning（模型微调） 方法一、conservative training（保守训练） 方法二、layer transfer（层迁移） 二
阅读全文
摘要：Ensemble 1、什么是集成学习 2、Bagging（决策树+随机森林） 3、Boosting Adaboost、Gradient boost 4、Stacking 1、什么是集成学习 人多力量大！ 世上没有一个分类器解决不了的分类问题 如果有，就多用几个！ 集成学习分为两大类：Bagging和
阅读全文
摘要：Structured Learning 1、什么叫结构化学习 2、结构化学习统一框架 3、结构化学习的三个问题 4、线性模型解决结构化学习的三个问题 1、什么叫结构化学习 之前的input and output 都是vectors 结构化学习：输入输出都是一种带有结构的对象（sequence,lis
阅读全文
摘要：Recurrent Neural Network (RNN) 1、什么是RNN 2、LSTM 一、什么是LSTM 二、LSTM框架 3、RNN分析 RNN 1、什么是RNN RNN可以处理序列的信息（即前面的输入对后面是有关系的） 下面通过一个订票系统的例子去说明什么是RNN： 1）、目标：假设我们
阅读全文
摘要：Reinforcement Learning 1、什么是强化学习 2、如何实现强化学习（方法） Policy-based：（learn a actor） 代表算法：Policy-Gradient Value-based：（learn a critic） 代表算法：Deep-Q-Learning Ac
阅读全文
摘要：卷积神经网络（Convolutional Neural Network） 1、什么是CNN 什么卷积、为什么用CNN 2、实现CNN的步骤 input——>convolution——>max pooling——>...——>flatten——>fully connected network——>ou
阅读全文
摘要：半监督学习 1、什么是Semi-Supervised 2、Semi-Surpervised在生成模型中如何实现的（EM算法） 3、Semi-Surpervised基于Low-density Separation（低密度分离）假设是如何实现的 1）Self-training方法+Entropy-bas
阅读全文
摘要：Unsurpervised Learning Neighbor Embedding 1、什么是流形学习 2、LLE（Locally Linear Embedding） 3、LE（Laplacian Eigenmaps） 4、T-SNE（t Stochastic Neighbor Embedding）
阅读全文
摘要：Unsurpervised Learning 1、深度生成模型“无中生有” 2、VAE（Variational auto-encoder） 一、什么是VAE、为什么用VAE 二、如何实现VAE 三、关于VAE思考 3、GAN（Generative Adversarial Network） Deep
阅读全文
摘要：无监督学习 1、无监督学习的概念 什么叫无监督学习（输入都是无label的数据，没有训练集之说） 无监督学习的两大任务：“化繁为简”（聚类、降维）、“无中生有” 2、聚类Clustering（K-means、HAC） 3、降维Dimension Reduction（PCA） 1、无监督学习的概念 一
阅读全文
摘要：Logistic Regression逻辑回归 思路： 1、逻辑回归 vs 线性回归（Logistics Regression VS Linear Regression ） 2、生成模型 vs 判别模型（Generative Model VS Discriminative Model） 3、逻辑回归
阅读全文
摘要：Tips of Deep Learning 1、先检查training 是否有比较好的结果 training优化方法： 1）换激活函数（Sigmoid、ReLU、Maxout、Tanh、Softmax） 2）优化器——优化gd和自适应调学习率（SGD、Adagrad、RMSProp、Momentum
阅读全文
摘要：Deep Learning >DNN（深度神经网络） 思路： 1、什么是深度学习 2、深度学习的步骤 3、如何优化（调参问题描述） 问题描述：参数更新的过程、training data 与参数更新的关系（训练过程） 4、Back Propagation方法update DNN参数 1、什么是深度学习
阅读全文
摘要：Regression 1、首先，什么是regression（回归） 2、然后，实现回归的步骤（机器学习的步骤） step1、model（确定一个模型）——线性模型 step2、goodness of function（确定评价函数）——损失函数 step3、best function（找出最好的一个
阅读全文
摘要：分类问题：概率生成模型 概念：（从概率生成模型到判别模型） 概率生成模型：由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型。例如：朴素贝叶斯、隐马尔可夫（em算法） 判别模型：由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型。例如：k
阅读全文
摘要：model的误差来源分析 思路： 1、首先，error的两大来源bias和variance是指什么 2、然后，bias和variance是怎么产生的 3、进一步，如何判断你的model是bias大（欠拟合）还是variance大（过拟合），如何解决 4、最后，结论 1、首先，error的两大来源bi
阅读全文