Kmeans
Kmeans
基本原理
K-Mmeans算法使用贪心策略求得一个近似解，具体步骤如下：
- 在样本中随机选取k个样本点充当各个簇的中心点
\[u_{1},u_{2}...u_{k}
\]
- 计算所有样本点与各个簇中心之间的距离
\[dist(x^{(i)},u_{i})
\]
，然后把样本点划入最近的簇中
\[x^{(i)}\in u^{_{nearest}}
\]
- 根据簇中已有的样本点，重新计算簇中心
\[u_{i}: = \frac{1}{\left | c_{i}\right |} \sum_{x\in C_{i}}x
\]
- 重复2、3
K-means算法得到的聚类结果严重依赖与初始簇中心的选择，如果初始簇中心选择不好，就会陷入局部最优解，避免这种情况的简单方法是重复多次运行K-means算法，然后取一个平均结果。
Kmeans++
K-means算法初始中心点的选取，改进后的选取流程如下：
-
在数据集中随机选取一个样本点作为第一个簇中心C1
-
计算剩余样本点与已有聚类中心之间的最短距离（即与最近一个聚类中心的距离）
\[D(x^{(i)})=min[dist(x^{(i)},C_{1}),dist(x^{(i)},C_{2}),...,dist(x^{(i)},C_{n})] \]计算每个样本被选为下一个聚类中心的概率：
\[\frac{D(x^{(i)})^{2}}{\sum _{j \in X } D(x^{(j)})} \] -
重复步骤二，知道选出 k 个聚类中心。
效率
K-means++ 能显著的改善分类结果的最终误差。
尽管计算初始点时花费了额外的时间，但是在迭代过程中，k-mean 本身能快速收敛，因此算法实际上降低了计算时间。
网上有人使用真实和合成的数据集测试了他们的方法，速度通常提高了 2 倍，对于某些数据集，误差提高了近 1000 倍。
