2017年1月3日

机器学习中常用的技巧数学总结

摘要: 1. exp(x)在x=0处的泰勒展开为: 当x=1时,可以得到: 2. x一定能找到自然数n,满足n<x≤n+1。所以有: 展开有: 一定有,所以强制 那么,令,所以有: 所以根据夹逼定理可以得到 3. 的最小值。 令,求最小,即求 由于exp(xlnx)>0,那么满足lnx+1=0,所以当x=1 阅读全文

posted @ 2017-01-03 19:51 LeonHuo 阅读(294) 评论(0) 推荐(0) 编辑

广义线性模型(GLM, Generalized Linear Model)

摘要: 引言:通过高斯模型得到最小二乘法(线性回归),即: 通过伯努利模型得到逻辑回归,即: 这些模型都可以通过广义线性模型得到。广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中,有很多模型都是基于广义线性模型的,比如传统的线性回归模型,最大熵模型,Logistic回归,softmax回归,等等。今天主要来学习如何来针对某类型的分布建立相应的广... 阅读全文

posted @ 2017-01-03 14:07 LeonHuo 阅读(1215) 评论(0) 推荐(0) 编辑

导航