02 2021 档案
摘要：《机器学习十讲》——第九讲（深度学习） 应用 图像识别：IMAGENET。 机器翻译：Google神经机器翻译系统。 语音识别： 以往GMM-HMM传统方法一直未有突破，2011年使用DNN后获得较大突破，2015年，IBM再次将错误率降低到6.9%，接近人类的平均水平（4%） 游戏：DeepMin
阅读全文
摘要：什么是维度灾难？ 高维空间的反直觉示例：单位球体积 单位球体积随维数的变化 边界体积占比变化 高维空间中的欧式距离 基于距离的机器学习模型 K近邻：样本间距离 支持向量机：样本到决策面距离 K-Means ：样本到聚类中心距离 层次聚类：不同簇之间的距离 推荐系统：商品或用户相似度 信息检索：查询和
阅读全文
摘要：机器学习的优化目标 梯度下降 三维示意 batch 和 mini-batch 梯度下降 梯度下降SGD 病态条件 局部最小 vs 全局最小 鞍点 平台 梯度爆炸与悬崖 动量法 Nesterov 动量法 受 Nesterov 加速梯度算法 NAG(Nesterov, 1983, 2004) 的启发 梯
阅读全文
