摘要：一直都想总结一下C++内存管理这一块，因为我发现C++编程的很多错误都是源自对C++内存管理理解的不够透彻。可真要总结的时候，才发现思绪万千，不知从何着手。于是乎网上搜了一些相关博文，加之查阅了一些书籍，比较清晰理出头绪来。 1.C++程序的内存格局 C++程序的内存占用可以分为以下五种： (1)全局变量、静态变量数据区：全局变量，static变量。在main()之前已配置好，在整个程序的生命周期，一直存在。 (2)常量数据区：存储程序的常量数值、字符串等。在main()之前已配置好，在整个程序的生命周期，一直存在。 (3)栈数据区：函数执行时，存储程序的局部变量，保存传递... 阅读全文
线性回归模型之之概率解释
2013-03-30 17:45 by 夜与周公, 416 阅读, 0 推荐, 收藏, 编辑
摘要：上一节从最小二乘函数损失函数优化求解线性回归模型参数，本节将通过概率统计的角度求解线性回归模型参数，为最小二乘算法给出其概率上解释。 首先假设输出变量与输入变量之间存在关系： (1)其中，ε（i) 模型的预测值与真实值之间的噪声，我们假设预测值的噪声是随机独立的，服从分布： (2)因此，我们可以得到： (3)对于N个样本我们得到它的似然函数： (4)最大化对数似然函数L(Θ): (5)该式等于最小化： (6)当前这个公式正是在 ”线性回归模型之一“一文中提到的最小二乘的损失函数。 阅读全文
耐得寂寞，拥得繁华
2013-03-28 14:59 by 夜与周公, 258 阅读, 0 推荐, 收藏, 编辑
摘要：耐得寂寞， 拥得繁华分享一篇博文，还在路上一起寻寻觅觅苦苦追寻的孩子，共勉之。单以这样的一句话作为开头，看高木直子的《一个人住第五年》的时候还在国内，那时觉得那样的生活根本不可能发生在我身上，连吃饭都要人陪着的我无法忍受一个人吃饭的感觉。所以后来，有很长的一段时间里我都没能适应一个人吃饭，一个人旅行，现在想想其实也没什么，这个世界运转速度那么快，没有人会在意你是不是一个人。以至于后来一个朋友问我是不是也得了社交恐惧症，我笑笑，其实不是，只是自己慢慢地变得懒了，懒得去经营一份感情，至于朋友，有那么几个就足够了，有些人天天在一起，也不见得是朋友。 好像这样久了，倒是会忘记开始遇到的困难，渐渐地.. 阅读全文
线性回归模型之一
2013-03-27 14:35 by 夜与周公, 540 阅读, 0 推荐, 收藏, 编辑
摘要：本节开始介绍第一个机器学习模型：线性回归模型（Linear Regression Model)。线性回归的目的是预测连续变量的值，比如股票走势，房屋的价格预测。从某种程度上说，线性回归模型，就是函数拟合。而线性回归，针对线性模型拟合，是回归模型当中最简单一种。形式化描述回归模型：对于给定的训练样本集包含N个训练样本{x(i)}相应的目标值{t(i)}}(i=1,2,....N)，我们的目的是给定一个新样本x 预测其值 t，注意与分类问题不同是{t(i)}属于连续变量。 最简单的线性回归模型： (1)其中，x={x1,x2,x3,...xD}，D个特征项，w={w1,w2,w3...... 阅读全文
机器学习之数据预处理
2013-03-24 21:15 by 夜与周公, 1137 阅读, 0 推荐, 收藏, 编辑
摘要：在使用机器学习与数据挖掘算法时，我们常常并不直接接触底层的算法模型，而是将数据处理成模型需要格式，送入到算法模型即可。 在做数据预处理的是，需要将数据归一化（Data Standardization)。由于一个样本的各个特征，并不一定具有相同的度量单位与粒度。比如统计鲸鱼的两个属性（年龄，重量）作为表述鲸鱼的特征。x(i)=(1,1000),x(j)=(3,2000)。在将样本送给算法模型时，由于重量的特征值数值上远远大于年龄特征值，模型学习到重要性更倾向于重量这个更特征，使用欧式距离计算两个样本的距离时： 在数据不是同一种力度夏，第一部分特征（年龄）起的作用就很小很小，几乎被忽略，因此... 阅读全文
机器学习的那些事
2013-03-22 22:00 by 夜与周公, 1642 阅读, 0 推荐, 收藏, 编辑
摘要：本系列是对机器学习常用的一些算法总结，本节主要概况后续的一些章节内容。 什么事机器学习？定义这个概念的自然是机器学习的大牛要做的事情。但机器学习的目的是，让我们的算法能够像人一样，通过学习以往的经验(数据)，得到某种问题的解决方法(模型)，并对新的问题(预测样本)做出自己的判断。对于某些问题来说，很难去编写一个算法完成任务。给出一些人脸图像，要求我们去编写一个程序，去识别这些人脸属于哪个人的。在计算机中，一幅人脸图像表示成一个矩阵，显然，很难通过传统的编程方法，去判断这幅图像到底是谁的人脸，机器学习在这个时候就发挥到她的作用了。 典型的机器学习任务可以几类呢？对于特定的任务，如何选择机... 阅读全文