07 2020 档案
摘要：An Introduction to Machine Learning What is Machine Learning? Machine Learning is more suitable to be described as ‘Model Learning’. For the given dat
阅读全文
摘要：第一章 引言 一. 性能测量需考虑的方面 算法复杂度 实现算法所需内存量 算法运行速度 压缩量 重构效果 二. 衡量压缩量的术语 压缩比 平均比特数 / rate 码率 三. 衡量重构效果的术语 失真 保真度 品质 四. 常见建模方法 预测元素值然后对残差编码 利用过去值预测当前值对预测误差编码（预
阅读全文
摘要：2019年12月31日，站在2019年的最后一个站台回头看来时的路。 2019年做过的有趣的事： 🚂6月6日和煦去甘肃的毕业旅行，见了大漠残阳，边关城墙，佛塑残像，丹霞，月牙泉，驼铃，开着沙漠摩托在嘉峪关，在莫高窟闹脾气，在张掖大佛寺旁的山西会馆拍了很好看的照片，在兰州的民宿看电影玩游戏…..很喜
阅读全文
摘要：今天晚上 Machine Learning 课程考试，考前两天抓紧看了一下，考完后的感觉就是不好也不坏，估计七八十的样子，有好几个地方如果更踏实仔细地复习一定可以做好。 不由得想起本科时的小伙伴们，如何是她们，这个难度应该不算难。perceptron 那块肯定不会像我一样犯参数错误，gradient
阅读全文
摘要：先说结论，BP算法=梯度下降+链式求导。 梯度下降一种无约束优化方法，以负梯度作为搜索方向，所以叫梯度法，在最优化理论里正常叫“最速下降法”。这是一个求解极值问题的古老算法，1847年由柯西（Cauchy）提出。迭代公式为： \[ x^{k+1}=x^{k}-\alpha_k \triangledo
阅读全文
摘要：线性分类器都是在样本空间中寻找一个超平面来将不同类别的样本分开，比如感知机的决策平面$wTx=0$，Logistic回归$z=wTx+b=0$。对于决策平面的选择一般是选择“正中间的”，与两边两个类的距离尽可能大，这样模型泛化能力强，从而有了“最大间隔”这个概念。 支持向量机模型的超平面方程是$wT
阅读全文
摘要：当有人告诉你“走过贝克街你有0.1的概率被杀害”，如何用主观的方式理解。 已知$P(走过贝克街被杀害)=0.1$，这是一个先验概率。考虑$P(走过贝克街被杀害|手里拿着杯子)$这个后验概率 \(P(走过贝克街被杀害|手里拿着杯子)=\frac{P(手里拿着杯子|走过贝克街被杀害)\cdot P(走过
阅读全文
摘要：先说结论，贝叶斯分类=最大化后验概率。 给定样本$x$和所属类别$c$，贝叶斯最优分类器欲最大化后验概率$P(c|x)$。想实现这个目的可以通过判别模型（如决策树、支持向量机等，直接对后验概率建模），或生成模型（对联合概率$P(x,c)$建模）。 对于生成模型，考虑： \[ P(c|x)=\frac
阅读全文
摘要：随机变量是一个对现实世界的数学建模，将文字表述的事件描述为数学代号。将特点事件的概率描述为变量的特定取值概率或取值范围概率。 **累计分布函数(cdf)**是一个特殊的概率，表示为$F_X(x)=P(X \le x)$，是单调非递减函数。 **概率密度函数(pdf)**是另一个特殊的概率，对于连续的
阅读全文