第四章 线性判据与回归

线性判据与回归

线性判据基本概念

  • 生成模型
    image.png
  • 判别模型
    image.png
  • 优势：快速、直接省去了耗时的高维观测似然概率估计

最简单的判别模型

  • 线性判据
    定义：
    image.png
    数学表达：
    image.png
    决策边界方程：
    image.png
    任意样本到决策边界的距离：
    image.png

线性判据学习概述

  • 目标函数
    image.png
  • 约束条件
    image.png

并行感知机算法

  • 预处理
    image.png
    几何解释
    image.png
  • 目标函数
    image.png
  • 梯度下降法
    image.png
  • 参数更新
    image.png

总结

算法流程：
image.png

串行感知机

  • 概述：
    image.png
  • 流程
    image.png
  • 步长与收敛性

image.png

  • Fisher 线性判据
    image.png
  • 目标函数
    image.png
    优化
    image.png
  • 最优参数解
    image.png
  • 决策边界方程
    image.png

支持向量机基本概念

  • 概念
    image.png
  • 重新表达
    image.png
  • 支持向量
    image.png
    间隔计算
    image.png
  • 目标函数
    image.png

拉格朗日乘数法

image.png

  • 拉格朗日函数（等式约束）
    image.png
  • 不等式约束
    情况1
    image.png
    情况2
    image.png

拉格朗日对偶问题

image.png

支持向量机学习算法

1）构建拉格朗日函数
image.png
2）构建对偶函数
image.png

  • 决策过程
    image.png
posted @ 2020-05-04 13:20  宋奕  阅读(217)  评论(0)  编辑  收藏  举报