PRML-10 变分推断-2

局部变分方法
利用局部信息进行变分推断
寻找上界或者下界

$比如我们有要求概率P，P可以分解成多个因子p_i的连乘积，那么取出一个p_j ,用一个\tilde p_j取作为p_j的下界，使得p=\prod p_i \ge \tilde p_j \prod_{i\ne j} p_i $

---

\(f(x)是凸函数\)
\(考虑可以用切线近似\)
\(引入\lambda,\lambda 决定了切点的位置,或者\lambda控制了切线,或者叫变分参数，他控制了一个函数\)
\(\xi 是切点的横坐标\)

---

只有在切点，两个函数的值相等,得到10.128 ,等式成立的时候x就是切点
一般化,\(f(x)是凸函数，还有一条y直线\)

引入截距\(-g(\lambda),是关于\lambda的函数\)

\(我觉得这个图有问题，因为\lambda 是切点的控制，意味着这张图\lambda x 是f(x)的切线，所以，必然两者是相切的\)

---

\(得到截距的表达式 g(\lambda)\)

凸的，或者凹的就可以计算下界或者上界了

--

如果函数不是凸，也不是凹的怎么搞
对于函数的形式，或者变量做可逆的变换
比如logistic ，一半是凸的，一半是凹的,求对数就变成凸函数了,然后套10.135公式,求得上确界
求导=0，得到最优解
得到10.136

---

sigmoid函数也可以求下界
\(\xi 也可以看做是变分参数\)

---

求到了sigmoid的上界和下界，有什么用呢?

sigmoid 和高斯的卷积 10.145 没法求

案例

变分逻辑回归

对每个采样点都有这样的一个下界形式

\(假设p(w)服从高斯分布\)

\(又要用q逼近p了\)