摘要：
一.线性回归模型 \(y_i=a_ix+b_i,b_i是噪声\) \(通常可以写成 y=Ax+b,y\in R^m, A\in R^{m\times n},x\in R^n,b\in R^m,m是样本量,n是维度\) 二.从概率角度看待逻辑回归 \(则从概率的角度看,需要将最大似然函数求最大值\) 阅读全文
摘要：
基础篇 高等数学 线性代数 矩阵论 数值计算 凸优化-基础篇 Wright, S., & Nocedal, J. (1999). Numerical optimization. Springer Science, 35(67-68), 7. Boyd, S., & Vandenberghe, L. 阅读全文
摘要：
约束问题形式 \(P问题\) $\begin{cases} min\ f(x) g_i(x)\le 0,i=1,...,m\ h_i(x)=0,i=1,...,l\ \end{cases},x\in R^n$ 约束问题局部解的一阶必要条件-KKT条件 \(若约束问题满足如下条件\) \(1.f(x) 阅读全文
摘要：
\(优化问题原问题P,P不一定是凸问题\) $\begin{cases} min\ f(x)\ s.t.\ g_i(x)\le 0,i=1,...,l\ \ \ \ \ \ \ \ \ h_i(x)=0,i=1,...,m \end{cases}$ 一.计算对偶问题流程 \(1.写出拉格朗日函数\) 阅读全文