罐装可乐

摘要： 1、特征工程 模型与特征在机器学习中的关系： 特征：决定了效果的上限；模型决定了接近效果上限的程度； 数据格式： label：0/1点击或者没有点击 urlID：广告的url经过hash后得到的hash值 adid：广告本身的ID 2、数据预处理 （1）、label匹配 主要就是不同数据文件中的不同 阅读全文

摘要： 1、主要内容 2、梯度下降 （1）、批量梯度下降 2、随机梯度下降 区别：就是更新变量时使用全部的数据还是一个样本进行更新 当都是凸函数的两者鲜果相同，当使用神经网络时使用SGD可以跳出局部最优解，批量梯度下降则不行； 3、mini-batch 梯度下降 噪声随着样本数量的增加而减少； 3、正则 b 阅读全文

摘要： 1、评价指标体系 1）logloss：评价点击率预测的准确性 计算公式： 对于ctr计算来说： 最后化简可以成为： 最后的计算代码： 这样的计算代码中在使用log计算时pctr[i]中的必须判断是否为0，否则出现无穷的情况； 2）AUC指标 使用二分类举例： 首先根据分类结果统计一个混淆矩阵： 举例 阅读全文

摘要： 1、主要内容 硬间隔表示实例中的每个点都必须被正确分开， 这样在保证每个点都被正确分开后会造成一个问题就是过拟合的出现，为了解决过拟合问题，引入软间隔的支持向量机，允许少部分的点出错。上节课中讲了kernel技巧，就是将内积和特征转换这两步合成一个步骤来做，移除计算过程中对特征数量d的依赖： 2、软 阅读全文

摘要： 1、课程主要内容 上节课中学习了VC维的相关只是，在hypothesis set的VC维有限，且输入数据N够大，并可以找到一个足够小的Ein，那么学习就是可能的。 但是在实际的情况中，数据来源不都是理想的，必然存在着错误和噪声，本次课程讨论在错误和噪声存在的情况下，机器为什么还可以学习？ 在噪声和错 阅读全文

摘要： 1、主要内容 上一讲中使用对偶形式的支持向量机将原始的与数据的维度d有关逐步转化到了只有数据输入规模N有关，但是在最后计算对偶形式的Q矩阵时依然还是使用到了数据的维度d，因此还不算时真正的解决了这个问题。 那么有什么方法？ 2、对偶形式的不足 上节课中将d转换成与d无关只是做了一半，还没有真正的把d 阅读全文

摘要： 1、课程主要内容 介绍向量机的对偶形式，上次讲述了线性支持向量机，找到可以正确分类中最“胖”的那条分隔面，越胖分类器就越健壮。 对偶支持向量机是线性支持向量机的另外一种形式。 2、原始SVM的复习，使用对偶形式的SVM的动机或者好处 非线性支持向量机的原始问题： 通过对原有数据的非线性变换后替换原有 阅读全文

摘要： 1、主要内容 沿着之前学些机器学习基石课程中学习到的工具进行分析，该工具主要就是vc维，沿着特征转换这一目标进行探讨： (1)、当数据的特征的数量很大时，如何进行特征转换？支撑向量机 (2)、能不能找到具有预测性的特征然后联合起来？ (3)、如何发现隐藏的具有预测意义的特征？原先的神经网络到现在的深 阅读全文

摘要： 1、主要内容 上节课讲述了vc bound，表明了在去break point为最小的break point时，mH(N)的上限是vc bound是一个多项式级别的上限； vc维定义为当输入数据为N个点时，有一个假设空间H可以准确无误的将这N个点所有的分类情况都覆盖，那么假设空间的H的vc维就是N，当 阅读全文

摘要： 1、课程内容 上节课中针对hypothesis set的分类问题，我们引入了成长函数，表示在数据集D上的hypothesis set可以分成种类的最大值，希望可以使用mH(N)来替代霍夫丁不等式中的M，如果mH(N)存在一个break point使得mH(N)的成长速度很慢是否一定可以使用mH(N) 阅读全文