摘要：Optimization 优化 PCI里面介绍了两个算法：simulated annealing，模拟退火和genetic algorithms，遗传算法。 无论哪种优化算法，这里都需要一个代价计算函数来判定计算过程中产生的结果的好坏。 sa要设置一个较高的初始温度，按照由快变慢的速度在迭代过程中降温。 算法是同一个随机结果开始，在解向量空间的某一维度上做一个小的随机变化而生成一个新的解。... 阅读全文

摘要：Multidimensional Scaling 多维标度 ms是用来降低向量空间维度的，一般是降低到二维，降低的过程中要尽量保证各个向量之间的距离在许可范围之内保持相对不变。 可以很形象的把ms的方法用特殊的作用力方式来说明。 首先还是要计算出n维向量空间里面各个向量的距离作为标准距离。 然后把向量看作在二维平面里的一个个粒子，开始的时候粒子的分布是随机的。 粒子之间有引力和斥力。当两... 阅读全文

摘要：k-Nearest Neighbors kNN(不要问我叫什么)PCI里面用kNN做了一个价格预测模型，还有一个简单的电影喜好预测。简单来说就是要对一个东西做数值预测，就要先有一堆已经有数值的东西，从里面找出和要预测的东西相似的，再通过计算这些相似东西的均值来作出预测。 kNN里面首先遇到的问题是如何定义“相似”。 把物品的各种属性量化，这样就构成了一个若干维度的向量空间。于是我们说相似就是离... 阅读全文

摘要：Neural Networks 神经网络（是这么说吧） nn可以用来做分类和数值型预测。nn有很多类型，PCI里面介绍的是一种多层认知网络，有一层输入神经元和若干层（这里是一层）隐藏神经元。每个神经元有自己的输出值，连接神经元的突触有各自的权重。 使用nn计算的方法叫feed forward，是通过对所有连接到这个节点上一层神经元的输出值与相应的突触权重的乘积求和再用tanh（PCI里面）计算... 阅读全文

摘要：就按照最后一章的顺序来说吧。很多名字都不知道中文该怎么说，就直接用英文名称了。 Naive Bayesian Classifier 朴素贝叶斯分类器nb算法是通过学习样本中已经分类的条目，计算生成条目中的特性相对于类别的概率矩阵，然后根据待分类条目中特性在这个矩阵中的值来反向计算条目的类别概率。 P(Category|Item)=P(Item|Category)*P(Category)/P(I... 阅读全文

摘要：SVM is a useful alternative to neural networks Two key concepts of SVM: maximize the margin and the kernel trick http://www.kernel-machines.org/ http://www.support-vector.net/ http://www.support-vecto... 阅读全文

摘要：Related Definition: 1.Overfitting happens when a model works very well on its trainning set,but has poor performance on new data. 2.Overfitting is when the NN learns the specific details of the traini... 阅读全文

摘要：Reading reference for 9.520-A 学习的网络：回归与分类，2001 春季 透视学习问题 Bertero, M., T. Poggio, and V. Torre. "Ill-posed Problems in Early Vision." Proc. of the IEEE 76 (1988): 869-889. 虽然局限于初期视觉，但该文包含了关于病态问题和正... 阅读全文