随笔分类 - 模式识别
模式识别读书笔记、概念理解及程序实例
摘要：视频地址： https://class.coursera.org/neuralnets-2012-001/lecture/indexPPT下载： https://d396qusza40orc.cloudfront.net/neuralnets/lecture_slides%2Flec3.pptx笔记：还没整理成电子版，先放上来纸质版。参考资料：《Dropout: A simple and effective way to improve neural networks》 Geoffrey E Hinton, George E Dahl 2012《Early stopping》 wikipedi
阅读全文
摘要：1、问题的提出 有时我们必须设计在整个先验概率上都能很好工作的分类器。也就是说，先验概率可能波动较大又或者先验概率在设计分类器时是未知的，那么我们要如何设定分类器的判决边界，使得无论先验概率以何种形式出现时，都可以将贝叶斯分类器的误差控制在一定范围，而不是大幅度的误差波动。2、判决边界是什么？先来看下面这张图 横轴为特征值x，纵轴为似然比。似然比就是似然函数的比值。假设有一个两类分类问题，两个似然比分别为p(x|ω1)和p(x|ω2)，那么似然比就是p(x|ω1)/p(x|ω2)。 贝叶斯决策规则可以解释成如果“似然比超过某个阈值（θ），那么可判决为ω1类”。3、为何可以依靠似然比及阈值...
阅读全文
摘要：在【前一个例子】中已经举例说明了如何用贝叶斯公式计算后验概率，然后依据后验概率来做决策。1、什么是行为？但是，有时候，后验概率本身只能说明具有特征x的样本属于ωi类的可能性有多少，却没能表示如果将样本分到ωi类时的代价有多大。在此，引入行为的概念。分类器的设计初衷很简单，就是进行“分类”这一动作。假设现在来了一个具有特征x的样本，如果将“把样本分入ωi类”这一行为记为动作ai的话，我们将有不少于类别种类（假设有c类）的行为（因为除了将样本分入不同类别外，还可能拒绝作出判断，因此动作集的大小一般大于类别种类）。2、什么是风险？为方便说明，令{ω1,...,ωc}表示有限个类别集，{a1,...,
阅读全文
摘要：【此文介绍了贝叶斯公式】现在举一个例子说明怎么使用贝叶斯公式来做决策。例子：假设有100个人，每个人都有自己的生日。1年有12个月，假设这100个人的生日从1月到12月的人数的分布情况如下：3 4 5 7 10 13 14 15 12 8 5 4那么1月到12月生人所占的比率分别为：0.0300 0.0400 0.0500 0.0700 0.1000 0.1300 0.1400 0.1500 0.1200 0.0800 0.0500 0.0400把数据放入matlab中：用matlab绘制看着更直观：这个rate1数组就是概率密度函数了,它满足两个条件：大于0且积分为1(因为sum(rate1
阅读全文
摘要：假设已知先验概率P(ωj)，也知道类条件概率密度p(x|ωj)，且j=1,2.那么，处于类别ωj，并具有特征值x的模式的联合概率密度可写成两种形式：p(ωj,x) = P(ωj|x)p(x) = p(x|ωj)P(ωj)整理后得出贝叶斯公式（只有两种类型的情况下）下面分别介绍一下后验概率、似然函数、先验概率以及证据因子。1、后验概率后验概率P(ωj|x)，即假设特征值x已知的条件下类别属于ωj的概率。2、似然函数p(x|ωj)为ωj关于x的似然函数，也成为类条件概率密度函数，表明类别状态为ω时的x的概率密度函数*。3、先验概率先验概率P(ωj)是由先验知识而获得的。4、证据因子证据因子的存在知
阅读全文
摘要：上一篇已经介绍了二项分布和泊松分布。这一篇中将介绍均匀分布、指数分布以及正态分布。3、均匀分布（uniform） 若随机变量X的密度函数为则称随机变量X服从区间[a,b]上的均匀分布。记作X~U(a,b).图像如下图所示：均匀分布的分布函数为图像如下图所示：均匀分布的数学期望E(X)=1/(2*(b+a))，方差为D(X)=1/(12*(b-a)2)。4、指数分布 如果随机变量X的密度函数为其中λ>0为常数，则称随机变量X服从参数为λ的指数分布。密度函数的图象如下图所示：指数分布的分布函数为：数学期望E(X)=1/λ，方差为D(X)=1/λ2。指数分布的分布函数图象如下图所示：可以看到λ
阅读全文
摘要：http://wenku.baidu.com/view/440955360b4c2e3f57276312.html几种重要的概率分布有：二项分布、泊松分布、均匀分布、指数分布和正太分布。---------------------------------------------------------------------一、贝努里概型和二项分布1、贝努里概型 在相同条件下进行的n此重复试验，如果每次试验只有两个相对立的基本事件，而且它们在各次试验中发生的概率不变，那么称这样的试验为n重贝努里试验或贝努里概型。如： 掷n次硬币（正面or反面） 投n次篮球（中or不中） 检查n个产品（合格or不
阅读全文
摘要：1、贝叶斯决策理论研究了模式类的概率结构完全知道的理想情况。这种情况很少在实际中出现，但是它为我们提供了一个能与其他分类器作对比的评价依据。2、最大似然和贝叶斯参数估计研究了当模式类的概率结构未知，但一般的分布形式已知的情况下的问题。此时的概率分布中存在的不确定性是由若干参数值未知所引起的。我们要做的是尝试估计出正确的参数值。3、非参数技术更加远离贝叶斯理想情况。甚至连参数化的先验分布形式的任何知识都没有。分类型必须基本上只利用输入训练样本自身提供的信息来工作。4、无监督学习和聚类在输入训练样本的类别标签未知的情况下，识别器如何发现聚类结构。其他概念：①线性判别函数研究参数估计的一般方法。②随
阅读全文
摘要：在回归分析（regression）中，我们的目的是为输入数据找到合适的函数表达，常用于预测新数据的值。线性回归（linear regression），其中的函数形式对输入数据而言是线性的，是到目前为止最流行也是研究最透彻的一种回归形式。在函数内插（interpolation）中，我们已知的是一定范围内的输入数据所对应的函数值，而要解决的是如何求出位于执行输入点之间的数据点的函数值。密度函数估计（density estimation）用于求解具有某种特定特征的类别成员（样本）出现的（概率）密度问题。
阅读全文
摘要：假设有A、B两个类别，feature为特征值，count为数量。蓝色和红色的曲线分别表示了，随着特征值的变化，A类别事物出现的数量以及B类别事物出现的数量。假如，将A类别错分为B类别的代价与将B类别错分为A类别的代价是相同的，那么可以取X0作为区分的阈值，即，对于某个类别未确定的样本，如果其特征值大于X0，那么将其判为B类，否则判为A类。如果不想将A类错判为B类，即将A类错判为B类的错误代价更大，那么可以在[X1,X0]之间取值作为判别的阈值。相反的，如果不想讲B类错判为A类，即将B类错判为A类的错误代价更大，那么可以在[X0,X2]之间取值作为判别的阈值。
阅读全文
摘要：网址 http://liama.ia.ac.cn/wiki/projects:pal:course:pr
阅读全文
摘要：Stereoscopic Vision Bela Julesz AT&A Bell Laboratories，1986 原文摘录 -The most immediately evident importance of computer-generated RDS was to show that i
阅读全文
摘要：vs2008下的opencv安装过程，请猛击这里。 代码改编自《learning openCV 》（中文版），example 2-2，2-4。 #include "stdafx.h"#include "cv.h"#include "highgui.h"using namespace cv;void
阅读全文
摘要：9:50昨晚在实验室的机子上装好了vs2008。 今天要做两件事，一是开始看采集卡的编程文档。另一个是要跑起一个带界面的c#程序。 不知道MFC和c#的关系。应该已经不是MFC了吧。 本来想用QT的，看DEMO里面没有这样的范例，所以先用c#或者c++试试。 over。 11:01 今天的任务之一“
阅读全文
摘要：今天换到了机子装有采集板卡的实验室。 不过系统里真“干净”，什么软件都没有，，，orz 装软件装到了这会儿，哎。 刚上摄像机的时候没装驱动……= =，丢人了。 上了驱动以后run一下demo，拍到的第一个东西竟然是…… 竟然是…… 护手霜！！！(⊙o⊙)… 目前对此很茫然啊。要看什么，从哪看？完全不
阅读全文
