摘要：
问题： 我们在讨论的时候，利用最前面的性质 ，是部分信息， 是信源熵，可是没有关心 是怎么来的？？ 是因为有噪声系统信道传递矩阵的除开对角线以外的元素才不等于0要是没有噪声，就压根没有引进H(X|Y)的必要。 （信道传递矩阵定义参考p75面） 有一点值得特别提出，（书上p71面）对于无干扰信道的定义 阅读全文
摘要：
就像说不同语⾔的⼈沟通⼀样，只要有⼀种⼤家都认可都遵守的协议即可， 那么这个计算机都遵守的⽹络通信协议叫做 TCP/IP协议 阅读全文
摘要：
描述一段序列的信息量 自信息单个信息 信源熵 表示信道信息的多少 不确定性就是信息量 当拿到输出看输入是什么，是求条件概率 输入bj ，输入是不是ai？ 自信息，因为已经是输入bj ，多了一个条件 已知bj 推测ai出现的不确定性 因为只有一个 bj让你猜，所以P（bj）等于1 如果有多个bi i从 阅读全文
摘要：
多元函数求导 不同投影的距离不一样 pca 是要投影到最大的那一个 投影完了之后求和 再除以样本点的个数就是方差 展开方差就是协方差，想找到e 使得 σ^2 最大 存在某一个e使得 e1最大 用拉格朗日条件法 来 求极值， 构造函数：= 用原来的函数+λ乘限制条件 y两边同乘e的转置 由此发现 ，对 阅读全文
摘要：
阅读全文
摘要：
共轭梯度法关键是要找正交向量寻找方向，去不断逼近解。 其本质是最小二乘解的思想 最小二乘解 其中A系数矩阵是确定的，Ax是永远都取不到向量 b的，取得到那就是不用最小二乘解 我要求AX和b最小的距离，就是要求b在Ax上的投影，向量b-AX一定是要垂直于AX的 对A要求要满秩 我的最小二乘法在于找到X 阅读全文
摘要：
感知机是监督学习，适用于线性可分的样本 和fisher一样，先有训练集，再有测试集 分类的理想情况是 如果 代表y要下移动，为了清晰的说，我们将y方差写成直线一般式 y ：ax+by+c=0 其中y的法向量是（a，b） 黄色的一个是样本点的向量表示 蓝色的是法向量 写出向量的乘法公式，我选取的是标准 阅读全文
摘要：
fisher 判决方式是监督学习，在新样本加入之前，已经有了原样本。 原样本是训练集，训练的目的是要分类，也就是要找到分类线。一刀砍成两半！ 当样本集确定的时候，分类的关键就在于如何砍下这一刀！ 若以黑色的来划分，很明显不合理，以灰色的来划分，才是看上去合理的 1.先确定砍的方向 关键在于如何找到投 阅读全文
摘要：
isodata算法就是先拟定一个预期类，再选取一些聚类中心，通过不断合并或者分裂聚类，达到分类的目的 关键就是在于，如何分裂，合并 要合并或者分裂 必须要确定一些指标 所以第一步就是要确定 某些指标 1.设置参数， a，确定样本 {xn} ， b，设置一个预期的分类数C， c，确定聚类中心的个数Nc 阅读全文
摘要：
要求 max{wp，wq都是样本点} < min {wp,wq 的类间距离} 合理 2. max{wp，里面样本点距离} > min {wp,wq 类间距离} 合并 3. wk 第二种情况是wp 所以也要合并 4. max {wp类内 两个样本点值 }> min{wp,wq 的类间值} max {w 阅读全文