Yongkang Zhang

摘要： Lecture 12:Nonlinear Transformation Quadratic Hypothesis 在二分类问题中，如果我们遇到的训练集是上图所示的$x\in \mathbb R^2$的若干训练样本，这些样本是线性不可分的，我们只能考虑用更高阶的假设函数，如二次的假设函数$h(x)=\ 阅读全文

摘要： Lecture 10:Logistic Regression Logistic Regression Problem 在之前使用PLA/口袋算法实现线性二分类时，我们理想的目标函数$f(x)$的输出$\in\{1, 1\}$ 而逻辑回归理想的目标函数$f(x)=P(y=1|x)$(给定x时其标签y= 阅读全文

摘要： Lecture 8:Noise and Error Noise and Probabilistic Target 一般来说，训练集上是有噪声(noise)的，例如： 1、少量训练样本的标签是错的(被人类专家错误分类) 2、多个训练样本有着同样的输入特征，但分类标签不同 3、训练样本的输入特征不准确 阅读全文

摘要： Lecture 6:Theory of Generalization 对于n个点$x^{(1)},\cdots,x^{(n)}$，break point=k，我们称此时$\mathcal H$的成长函数$m_\mathcal H(n)=B(n,k)$，可以证明$B(n,k)\leq n^k$(而且这 阅读全文

摘要： Lecture 4:Feasibility of Learning 问题背景 给出一个罐子，其中有若干绿色、橙色弹珠，显然我们无法准确确定其中橙色珠子的比例。 但我们可以通过从其中抽出n个弹珠作为样本来近似估计这一比例。若样本中橙色弹珠比例为$\nu$,我们估计整个罐子中橙色弹珠比例为$\mu$ H 阅读全文

摘要： Lecture 2: Learning to Answer Yes/No 感知机假设函数集合 假设未知的目标函数为$f:\mathcal X \mapsto y$，学习算法$\mathcal A$的任务是，根据已有的训练集$\mathcal D:(x_1,y_1),\cdots,(x_n,y_n)$ 阅读全文

摘要： 垃圾邮件过滤(多项式事件模型贝叶斯分类器) 公式推导 直接参考：https://www.cnblogs.com/qpswwww/p/9308786.html 注意，这里为了数值稳定性，用了一个小trick，保证数值太小时不会下溢 $$p(y=1|x)=\frac {(\prod_{i=1}^n\ph 阅读全文

摘要： 牛顿法求解二分类逻辑回归参数 Repeat{ $\theta:=\theta H^{ 1}\nabla_\theta l(\theta)$ } 其中，Hessian矩阵$H\in \mathbb R^{(n+1)\times (n+1)}$ $$(H)_{i,j}=\frac {\partial^2 阅读全文

摘要： 强化学习的概念 在监督学习中，我们会给学习算法一个训练集，学习算法尝试使输出尽可能接近训练集给定的真实值y；训练集中，对于每个样本的输入x，都有确定无疑的正确输出y 在强化学习中，我们只会给学习算法一个奖励函数(reward function)，用这个函数来提示学习主体(learning agent 阅读全文

摘要： 问题描述 鸡尾酒会问题 在一个酒会上，n个人站在不同的位置同时说话，另外有n个麦克风放在房间不同的位置录音，由于每个麦克风、人的位置不同，所以n个麦克风录下的声音是有差别的。现在要用n个麦克风的录音，还原n个人的说话声音。 建立模型 为了简化问题，我们把某时刻某个声音看作一个实数。令n维列向量$s^ 阅读全文