机器学习学习记录【持续更新】——特征组合

特征组合

• 为什么要引入特征组合这个概念？
• 特征组合

为什么要引入特征组合这个概念？

在之前的机器学习过程中，基本上都是在研究一些线性模型，如下图，用一条直线将不同颜色的点分割开来

但是，当你遇到下面这样的图形，请问你还可以用一条直线将不同颜色的点分割开来吗？

显然是不行的！！！！
难道这说明我们之前费劲时间学习的线性模型其实没有什么广泛的用途吗？NO！！！！！线性模型是目前用的最多、计算速度最快的模型，很多非线性问题都是通过转换成线性问题来解决的，这就是为什么特征组合需要在此提出来！

特征组合

特征组合是指通过将两个或多个输入特征相乘来对特征空间中的非线性规律进行编码的合成特征。“cross”（组合）这一术语来自 cross product（向量积）。我们通过将x1与x2组合来创建一个名为 的特征组合：x3

我们像处理任何其他特征一样来处理这个新建的 特征组合。线性公式变为：

线性算法可以算出w3的权重，就像算出w1和w2的权重一样。换言之，虽然 表示非线性信息，但您不需要改变线性模型的训练方式来确定w3的值。