fuzzy c-means

　　在k-means中，每个元素只能属于所有类别中的一类。那这样会带来一些问题：

• 所有的元素对于计算聚类中心的贡献都是相同的。

　　因为从根本上，对于属于一个类的所有元素来说，在k-means中是无法将他们区别开的（如果非要用距离什么的来区分也可以，但是这部分功能不是k-mean擅长的）。而在fuzzy c-means中，元素可能属于任何一类，不同的是它们之间的可能性是不同的。数学表示如下：

J_m = ΣΣu_ij^m × |x_i - c_i|²

其中：

1. x_i：元素；
2. c_j：聚类中心；
3. u_ij：元素x_i对于聚类中心c_j的隶属度（属于这个类的可能性）；
4. m：大于1的实数，一般取值2.0；

　　J_m用来评估聚类效果，J_m越大，聚类效果越差。那么聚类的过程其实就是找J_m的极小值的过程。其实从函数的角度看，Jm取得极小值时偏导数为0，也就是说u_ij和c_j的变换都接近于0，而这里其实我们只需要考虑一个（比如在u_ij趋于不变时通常c_j也趋于稳定），而这里选择u_ij的原因是衡量起来简单一点（取值范围为[0,1]，设置一个比较小的阀值即可）。

求极值是一个迭代的过程，更新聚类中心c_j的方法与k-means非常相似，如下：

　　c_j = (Σu_ij^m × x_i) / Σu_ij^m

更新隶属度u_ij的方法如下：

　　u_ij = 1 / (∑((|x_i - c_j|/|x_i - c_k|)^{2 / (m - 1)}))

那么迭代结束的条件显然是：

　　max{|u_ij^k+1 - u_ij^k|} < ε

这样，fuzzy c-means的整体的过程如下：

1. 初始化隶属度矩阵；
2. 计算聚类中心C；
3. 更新隶属度矩阵U；
4. 如果max{|u_ij^k+1 - u_ij^k|} < ε或者迭代次数达到上限，结束迭代，否则转2；

注：不管是k-means还是fuzzy c-means，有没有感觉这个过程和迭代法求线性方程组的解的过程非常相似？其实有时候感觉这两个过程本来就是相同的。

fuzzy c-means迭代式的推导

利用拉格朗日乘子法构造新的函数：

　　J_m = ΣΣu_ij^m × |x_i - c_i|² + λ × (Σu_ij - 1)

在J_m取得极值时满足如下条件：

∂J / ∂λ = Σu_ij - 1 = 0

∂J / ∂u_ij = m × u_ij^m-1 × |x_i - c_j|² - λ = 0

∂J / ∂c_j = Σu_ij^m × x_i - c_j × Σu_ij^m = 0

根据后面的两条即可得到u_ij和c_j的迭代式（想想在第二条中如何消掉λ？提示：利用∑u_ij = 1）。

----- -- -

end