摘要：
EM Jensen不等式： 如果函数f为凸函数，那么存在下列公式： $f(\theta x+(1 \theta)y)\leq\theta f(x)+(1 \theta)f(y)$ 若$\theta_1,\cdots,\theta_k\geq0,\theta_1+\cdots+\theta_k=1$； 阅读全文
posted @ 2019-07-29 20:51 少说话多读书 阅读(259) 评论(0) 推荐(0) 编辑
摘要：
mongodb 概念解析 | SQL术语/概念 | MongoDB术语/概念 | 解释说明 | | : : | | | | database | database | 数据库 | | table | collection | 数据库表/集合 | | row | document | 数据记录行/文档 阅读全文
posted @ 2019-07-29 17:52 少说话多读书 阅读(2859) 评论(0) 推荐(0) 编辑
摘要：
1. 贝叶斯之参数估计 "1. 贝叶斯之参数估计" "1.1. 背景知识" "1.2. 最大似然估计（MLE）" "1.3. 最大后验概率估计（MAP）" "1.4. 贝叶斯估计" "1.5. 什么时候 MAP 估计与最大似然估计相等" 1.1. 背景知识 概率与统计 概率：在给定数据生成过程下观测 阅读全文
posted @ 2019-07-25 23:00 少说话多读书 阅读(3439) 评论(0) 推荐(0) 编辑
摘要：
1. 决策树算法 1.1 背景知识 信息量$I(X)$：指一个样本/事件所蕴含的信息，如果一个事情的概率越大，那么就认为该事件所蕴含的信息越少，确定事件不携带任何信息量 $I(X)= log(p(x))$ 信息熵$H(X)$：用来描述系统信息量的不确定度（均值），熵只依赖于随机变量X的分布，与取值无 阅读全文
posted @ 2019-07-17 22:42 少说话多读书 阅读(1101) 评论(0) 推荐(0) 编辑
摘要：
支持向量机 背景知识 最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值 问题，一般分为以下三种情况(备注：除非函数是凸函数，否则以下方法求出来的解可能为局部最优解） 无约束问题：求解方式一般求解方式梯度下降法、牛顿法、坐标轴下降法等； 等式约束条件：求解方式一般为拉格朗日乘子法 阅读全文
posted @ 2019-07-14 21:21 少说话多读书 阅读(1429) 评论(0) 推荐(0) 编辑
摘要：
给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位 数字。 如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。 您可以假设除了数字 0 之外，这两个数都不会以 0 开头。 示例： 输入：(2 4 3) + ( 阅读全文
posted @ 2019-07-07 23:18 少说话多读书 阅读(111) 评论(0) 推荐(0) 编辑
摘要：
线性模型之LDA和PCA 线性判别分析LDA LDA是一种无监督学习的降维技术。 思想：投影后类内方差最小，类间方差最大，即期望同类实例投影后的协方差尽可能小，异类实例的投影后的类中心距离尽量大。 二分类推导 给定数据集$D=\{(x_i,y_i)\}_{i=1}^m$，令$X_i，\mu_i，\s 阅读全文
posted @ 2019-07-07 17:09 少说话多读书 阅读(717) 评论(2) 推荐(0) 编辑
摘要：
CRISP DM 数据挖掘标准流程 在1996年的时候，SPSS，戴姆勒 克莱斯勒和NCR公司发起共同成立了一个兴趣小组，目的是为了建立数据挖掘方法和过程的标准。并在1999年正式提炼出了CRISP DM流程。这个流程确定了一个数据挖掘项目的生命周期包括以下六个阶段： 1. 业务/研究理解阶段 1. 阅读全文
posted @ 2019-07-07 10:53 少说话多读书 阅读(2454) 评论(0) 推荐(0) 编辑
摘要：
线性模型之对数几率回归 广义线性模型：$y=g^{ 1}(w^Tx+b)$ $g^{ 1}(x)$，单调可微函数 如果用线性模型完成分类任务如何做? 根据线性模型可知，找到一个单调可微函数将分类任务的真实标记$y_i$与线性模型的预测值联系起来即可。 广义线性模型对样本要求不必要服从正态分布、只需要 阅读全文
posted @ 2019-07-06 21:16 少说话多读书 阅读(831) 评论(0) 推荐(0) 编辑