摘要：
继续上节内容介绍学习理论，介绍模型选择算法，大纲内容为： 交叉验证 特征选择 回顾上节的偏差方差权衡现象，若选择过于简单的模型，偏差过高，可能会导致欠拟合；若选择过于复杂的模型，方差过高，可能会导致过拟合，同样模型的一般适用性不好。 模型复杂度：多项式的次数或参数的个数。 （1）尝试选择多项式的次数 阅读全文
摘要：
学习理论： 偏差方差权衡（Bias/variance tradeoff） 训练误差和一般误差（Training error & generation error） 经验风险最小化（Empiried risk minization） 联合界引理和Hoeffding不等式（Union bound & H 阅读全文
摘要：
回顾上节主要引出了最优间隔分类器的模型，并简述了支持向量的含义，接下来这节将围绕支持向量机模型及其优化方法SMO来展开。 最优间隔分类器模型的原始最优问题： 为了求解模型，得到它的对偶最优问题： 假设函数h(w,b)=g(wTx+b)为： 从而引出了核函数的重要概念，对于支持向量机的优化方法必不可少 阅读全文
摘要：
首先，提出一个问题：如何构造非线性分类器？ 可以从线性回归到逻辑回归的变化过程中得到启发，逻辑回归本质上是增加了一个逻辑函数g(z)来映射输入x到{0,1}。 逻辑回归的计算过程可以简化为上图，圈表示一个计算节点，即激活函数（activation function）g(z)，这里取Sigmoid函数 阅读全文
摘要：
这节主要介绍了生成学习算法。首先与逻辑回归分类算法进行比较，引出生成学习算法的核心思想，然后介绍了一种基本的生成学习算法——高斯判别分析，并进一步对高斯分布条件进行讨论，比较生成学习算法与判别学习算法的区别，最后介绍了两种适合文本分类的朴素贝叶斯方法，并由引入新数据时产生的问题介绍拉普拉斯平滑法。 阅读全文
摘要：
整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； 阅读全文
摘要：
在上一节中主要介绍了监督学习中的线性回归（模型）、最小二乘法（策略）、梯度下降法（算法）及线性最小二乘法的标准方程（闭式解）。 这节主要介绍两个回归：局部加权回归与逻辑回归，其中穿插一些小的知识点：欠拟合与过拟合、感知机、牛顿方法等。大纲如图： 一、几个概念 1. 欠拟合与过拟合问题 之前所采用的线 阅读全文
摘要：
一、机器学习概述： 1. 学习动机： 机器学习已经在不知不觉中渗透到人们生产和生活中的各个领域，如邮箱自动过滤的垃圾邮件、搜索引擎对链接的智能排序、产品广告的个性化推荐等； 机器学习横跨计算机科学、工程技术和统计学等多个学科，需要融合多学科的专业只是，也同样可以作为实际工具应用到各行各业之中； 如何 阅读全文
摘要：
一、机器学习常用开发软件：Spark、Scala 1. Spark简介： MLlib包含的库文件有： 分类 降维 回归 聚类 推荐系统 自然语言处理 在线学习 统计学习方法：偏向理论性，数理统计的方法，对实时性没有特别要求； 机器学习：偏向工程化（包含数据预处理、特征选择、参数优化），有实时性要求， 阅读全文
摘要：
前段时间的“人机大战”——谷歌的Alpha Go战胜人类棋手的新闻甚嚣尘上，不禁有人会想起1997年IBM自主研发的深蓝战胜卡斯帕罗夫的事件。“人工智能”这个词再次被推上风口浪尖，而“认知计算”却鲜有人听说，同样是人类模拟机器思索，让机器具有自主思考能力，都是具有跨时代意义和里程碑式的存在。 认知计 阅读全文