信息熵
摘要：信息熵一直在机器学习的领域兴风作浪，给出最简单最直接的方式认识信息熵
阅读全文
posted @ 2019-11-30 22:43
11 2019 档案
逻辑回归简单多变不易把握、特征离散化原因、最大熵模型
摘要：Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。 之前说到 Logistic 回归
阅读全文
posted @ 2019-11-19 13:55
特征选择
摘要：特征选择 特征选择方法是从原始特征数据集中选择子集，是一种包含的关系，没有更改原始的特征空间。主要是为了减少特征数量、降维，减少过拟合使模型泛化能力更强以及增强对特征与特征值之间的理解。 （1） Filter方法：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性，
阅读全文
posted @ 2019-11-19 12:43
数据清洗
摘要：在数据挖掘过程中，数据清洗主要根据探索性分析后得到的一些结论入手，然后主要对四类异常数据进行处理；分别是缺失值(missing value)，异常值(离群点),去重处理(Duplicate Data)以及噪音数据的处理。后期会更新数据分析流程。一起加油，学习从未止步。https://github.c
阅读全文
posted @ 2019-11-18 21:13
海塞矩阵、黄金分割、牛顿法、下降迭代法
摘要：对书法的热爱习惯手撕推导，持续更新以及代码
阅读全文
posted @ 2019-11-14 22:01
BP算法推导python实现
摘要：def sigmoid(inX): return 1.0/(1+exp(-inX)) '''标准bp算法每次更新都只针对单个样例，参数更新得很频繁sdataSet 训练数据集labels 训练数据集对应的标签标签采用one-hot编码(一位有效编码)，例如类别0对应标签为[1,0],类别1对应标签为
阅读全文
posted @ 2019-11-10 15:04
分布函数,概率，离散，连续
摘要：落实好数学公式的推导，以应用的角度思考数学。继续补充概率论知识和数理统计知识
阅读全文
posted @ 2019-11-07 22:42
损失函数coding
摘要：损失函数(Loss Function)和成本函数(Cost Function)之间有什么区别？ 在此强调这一点，尽管成本函数和损失函数是同义词并且可以互换使用，但它们是不同的。 损失函数用于单个训练样本。它有时也称为误差函数(error function)。另一方面，成本函数是整个训练数据集的平均损
阅读全文
posted @ 2019-11-06 15:55
leetcode中二分查找的具体应用
摘要：给定一个按照升序排列的整数数组 nums，和一个目标值 target。找出给定目标值在数组中的开始位置和结束位置。 你的算法时间复杂度必须是 O(log n) 级别。 如果数组中不存在目标值，返回 [-1, -1]。 示例 1: 输入: nums = [5,7,7,8,8,10], target =
阅读全文
posted @ 2019-11-03 15:39
leetcode中的sql
摘要：1 组合两张表 组合两张表, 题目很简单, 主要考察JOIN语法的使用。唯一需要注意的一点, 是题目中的这句话, "无论 person 是否有地址信息"。说明即使Person表, 没有信息我们也需要将Person表的内容进行返回。所以我选择使用左外查询, 当然你也可以选择RIGHT OUTER JO
阅读全文
posted @ 2019-11-03 12:01
样本不平衡的处理
摘要：分类问题的一个underlying assumption是各个类别的数据都有自己的分布，当某类数据少到难以观察结构的时候，我们可以考虑抛弃该类数据，转而学习更为明显的多数类模式，而后将不符合多数类模式的样本判断为异常/少数类，某些时候会有更好的效果。此时该问题退化为异常检测（anomaly dete
阅读全文
posted @ 2019-11-02 18:12
