随笔分类 - 机器学习
摘要："超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 本文将介绍一种快速有效的方法用于实现机器学习模型的调参。有两种常用的调参方法：网格搜索和随机搜索。每一种都有自己的优点和缺点。网格搜索速度慢，但在搜索整个搜索空间方面效果很好，而随机搜索很快，
阅读全文
摘要："超参数优化" "Bayesian Optimization使用Hyperopt进行参数调优" 1. 前言 现在的机器学习和深度学习中，在模型结构确定的情况下，不同的超参数的选择对整个结果的好坏有着至关重要的影响。不少人还嬉称人工智能工程师，其实是“调参侠”。 1.1 超参数 在模型开始学习过程之前
阅读全文
摘要：1. 前言 最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回
阅读全文
摘要：1. 前言 在机器学习中，种类最多的一类算法要属很类算法，本文对机器学习中的各种分类算法的优缺点做一个总结。 2. 贝叶斯分类法 2.1 优点 1. 所需 估计的参数少，对于缺失数据不敏感 。 2. 有着坚实的数学基础，以及稳定的分类效率。 2.2 缺点 1. 假设属性之间相互独立，这往往并不成立。
阅读全文
摘要：1. 前言 "《朴素贝叶斯算法（Naive Bayes）》" ，介绍了朴素贝叶斯原理。本文介绍的是朴素贝叶斯的基础实现，用来垃圾邮件分类。 2. 朴素贝叶斯基础实现 朴素贝叶斯 (naive Bayes) 法是基于 贝叶斯定理与特征条件独立假设 的分类的方法。对于给定的训练数据集，首先基于特征条件独
阅读全文
摘要："1. 感知机原理（Perceptron）" "2. 感知机(Perceptron)基本形式和对偶形式实现" "3. 支持向量机（SVM）拉格朗日对偶性（KKT）" "4. 支持向量机（SVM）原理" "5. 支持向量机（SVM）软间隔" "6. 支持向量机（SVM）核函数" 1. 前言 今天终于能
阅读全文
摘要："1. K近邻算法（KNN）" "2. KNN和KdTree算法实现" 1. 前言 KNN一直是一个机器学习入门需要接触的第一个算法，它有着简单，易懂，可操作性强的一些特点。今天我久带领大家先看看sklearn中KNN的使用，在带领大家实现出自己的KNN算法。 2. KNN在sklearn中的使用
阅读全文
摘要："1. pyhanlp介绍和简单应用" "2. 观点提取和聚类代码详解" 1. 前言 本文介绍如何在无监督的情况下，对文本进行简单的观点提取和聚类。 2. 观点提取 观点提取是通过依存关系的方式，根据固定的依存结构，从原文本中提取重要的结构，代表整句的主要意思。 我认为比较重要的依存关系结构是"动补
阅读全文
摘要："1. pyhanlp介绍和简单应用" "2. 观点提取和聚类代码详解" 1. 前言 中文分词≠自然语言处理！ 中文分词只是第一步；HanLP从中文分词开始，覆盖词性标注、命名实体识别、句法分析、文本分类等常用任务，提供了丰富的API。 不同于一些简陋的分词类库，HanLP精心优化了内部数据结构和I
阅读全文
摘要：1. 前言 我们之前有介绍过 "4. EM算法 高斯混合模型GMM详细代码实现" ，在那片博文里面把GMM说涉及到的过程，可能会遇到的问题，基本讲了。今天我们升级下，主要一起解析下EM算法中GMM（搞事混合模型）带惩罚项的详细代码实现。 2. 原理 由于我们的极大似然公式加上了惩罚项，所以整个推算的
阅读全文
摘要："1. EM算法 数学基础" "2. EM算法 原理详解" "3. EM算法 高斯混合模型GMM" "4. EM算法 GMM代码实现" "5. EM算法 高斯混合模型+Lasso" 1. 前言 前面几篇博文对EM算法和GMM模型进行了介绍，本文我们通过对GMM增加一个惩罚项。 2. 不带惩罚项的GM
阅读全文
摘要："1. EM算法 数学基础" "2. EM算法 原理详解" "3. EM算法 高斯混合模型GMM" "4. EM算法 高斯混合模型GMM详细代码实现" "5. EM算法 高斯混合模型GMM+Lasso" 1. 前言 EM的前3篇博文分别从数学基础、EM通用算法原理、EM的高斯混合模型的角度介绍了EM
阅读全文
摘要："1. K Means原理解析" "2. K Means的优化" "3. sklearn的K Means的使用" "4. K Means和K Means++实现" 1. 前言 前面3篇K Means的博文从原理、优化、使用几个方面详细的介绍了K Means算法，本文用python语言，详细的为读者实
阅读全文
摘要："1. K Means原理解析" "2. K Means的优化" "3. sklearn的K Means的使用" "4. K Means和K Means++实现" 1. 前言 在机器学习中有几个重要的python学习包。 1. sklearn：sklearn里面包含了各种机器学习的算法结构 2. n
阅读全文
摘要："1. K Means原理解析" "2. K Means的优化" "3. sklearn的K Means的使用" "4. K Means和K Means++实现" 1. 前言 上一篇博文 "K Means原理解析" 简单清晰的阐述了K Means的原理和过程。但是还有一些在使用K Means过程中会
阅读全文
摘要："1. K Means原理解析" "2. K Means的优化" "3. sklearn的K Means的使用" "4. K Means和K Means++实现" 1. 前言 我们在一开始的时候应该就说过，机器学习按照有无标签可以分为“监督学习”和“非监督学习”。 监督学习里面的代表算法就是：SVM
阅读全文
摘要："1. EM算法 数学基础" "2. EM算法 原理详解" "3. EM算法 高斯混合模型GMM" "4. EM算法 高斯混合模型GMM详细代码实现" "5. EM算法 高斯混合模型GMM+Lasso" 1. 前言 GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算
阅读全文
摘要："1. EM算法 数学基础" "2. EM算法 原理详解" "3. EM算法 高斯混合模型GMM" "4. EM算法 高斯混合模型GMM详细代码实现" "5. EM算法 高斯混合模型GMM+Lasso" 1. 前言 概率模型有时既含有观测变量(observable variable)，又含有隐变量或
阅读全文
摘要："1. EM算法 数学基础" "2. EM算法 原理详解" "3. EM算法 高斯混合模型GMM" "4. EM算法 高斯混合模型GMM详细代码实现" "5. EM算法 高斯混合模型GMM+Lasso" 1. 凸函数 通常在实际中，最小化的函数有几个极值，所以最优化算法得出的极值不确实是否为全局的极
阅读全文
摘要："1. 感知机原理（Perceptron）" "2. 感知机(Perceptron)基本形式和对偶形式实现" "3. 支持向量机（SVM）拉格朗日对偶性（KKT）" "4. 支持向量机（SVM）原理" "5. 支持向量机（SVM）软间隔" "6. 支持向量机（SVM）核函数" 1. 前言 在约束最优
阅读全文
