机器学习第一次作业

机器学习第一次作业

1.试设计一个不同于高斯核和Epanechnikov核的核函数。

2.如果 $\mathrm{N}$ 个独立的观测样本 $x_{1}, x_{2}, x_{3}, \ldots, x_{N}$ 服从概率密度

　　　　$\mathrm{p}(\mathrm{x} \mid \hat{\theta})=\frac{1}{\sqrt{(2 \pi)^{\mathrm{p}} \mathrm{det}(\Sigma)}} \cdot \exp \left[-\frac{1}{2}(\mathrm{x}-\mu)^{\mathrm{T}} {\sum}^{-1}(\mathrm{x}-\mu)\right]$，

  试估计$\theta=\{\mu, \sum \}$ 。

解：

1)

　　　　$\mathrm{K}(\mathrm{X})=\exp \left(-\frac{\left(\left\|\mathrm{X}-\mathrm{X}_{\mathrm{k}}\right\|\right)^{2}}{2 \sigma^{2}}\right)$　　　　

　　其中 $\sigma$ 定义学习样本间相似性的特征长度尺度。

2)

　　令：

　　　　$L(\theta)=\prod \limits_{i=1}^{N} P\left(x_{i} \mid \theta\right)=\left(\frac{1}{\sqrt{(2 \pi)^{p} \operatorname{det}(\Sigma)}}\right)^{N} \exp \left[-\frac{1}{2} \sum \limits _{i=1}^{N}\left(x_{i}-\hat{\mu}\right)^{\top} \Sigma^{-1}\left(x_{i}-\hat{\mu}\right)\right]$

 　　则：

　　　　$\operatorname{ln} L(\theta)=-\frac{P N}{2} \ln 2 \pi-\frac{N}{2} \ln \operatorname{det}(\hat{\Sigma})-\frac{1}{2} \sum\limits _{i=1}^{N}\left(x_{i}-\hat{\mu}\right)^{\top} \Sigma^{-1}\left(x_{i}-\hat{\mu}\right)$

　　由 $\frac{\partial \operatorname{ln} L(\theta)}{\partial \hat{\mu}}=0$ 得：

 　　　　$\sum \limits _{i=1}^{N} \Sigma^{-1}\left(x_{i}-\hat{\mu}\right)=0$

　　由 $\frac{\partial \operatorname{ln} L(\theta)}{\partial \hat{\Sigma}}=0$ 得：

　　　　$\sum \limits _{i=1}^{N}\left(x_{i}-\hat{\mu}\right)\left(x_{i}-\hat{\mu}\right)^{T} \Sigma^{-2}-\frac{1}{2} \sum \limits_{i=1}^{N} \Sigma^{-1}=0$

　　解得：

　　　　$\left\{\begin{array}{l}\hat{\mu }=\frac{1}{N} \sum \limits _{i=1}^{N} x_{i} \\\hat{\Sigma}=\frac{1}{N} \sum \limits_{i=1}^{N}\left(x_{i}-\hat{\mu}\right)\left(x_{i}-\mu\right)^{\top}\end{array}\right.$