《机器学习》第二次作业——第四章学习记录和心得

思维导图:

第四章 线性判据与回归

一.线性判据基本概念和学习概述

1.生成模型(给定训练样本,直接在输入空间内学习其概率密度函数
优势:可以根据采样新的样本数据;可以检测出较低概率的数据,实现离群点检测。
劣势:高维的x,需要大量训样本才能准确的估计(维度灾难问题)。
2.判别模型(给定训练样本,直接在输入空间内学习其概率密度函数
优势:快速直接,省去了耗时的高维观测似然概率估计。
3.线性判据
(1)定义:

(2)优势:计算量少;适用于训练样本较少的情况。
(3)模型:

(4)判别公式:

(5)决策边界方程:

(6)任意样本到决策边界的距离:

该距离r的绝对值越大,这个值的正类或负类的程度越大;是样本x到决策面H的代数距离度量。
4.目标函数
(1)核心思想:如何实现有效决策
(2)求解:最小化/最大化目标函数(解析求解和迭代求解)
(3)约束条件:加入约束条件,提高泛化能力

二.并行与串行感知机算法

1.预处理
(1)目的:

(2)步骤:

2.梯度下降法(当前梯度值迭代更新参数)

3.并行感知机
(1)目标函数:针对所有被错误分类的训练样本,其输出值取反求和:

(2)参数更新:

(3)算法流程:

4.串行感知机
(1)目标函数:针对被错误分类的训练样本,最小化其输出值取反:

(2)算法流程:

三.Fisher线性判据

1.目标函数:

2.决策边界方程:

3.训练算法流程

四.支持向量机

1.基本概念

2.学习算法:构建拉格朗日函数和构建对偶函数
3.优化方法:拉格朗日乘数法和拉格朗日对偶法

posted @ 2021-05-27 22:36  lwn_user  阅读(80)  评论(0编辑  收藏  举报
levels of contents