随笔分类 - 机器学习
摘要：本篇主要讲的是多变量的线性回归，从表达式的构建到矩阵的表示方法，再到损失函数和梯度下降求解方法，再到特征的缩放标准化，梯度下降的自动收敛和学习率调整，特征的常用构造方法、多维融合、高次项、平方根，最后基于正规方程的求解。 更多内容参考 "机器学习&深度学习" 在平时遇到的一些问题，更多的是多特征的
阅读全文
摘要：更多内容参考 "机器学习&深度学习" 矩阵的表示 矩阵的索引 向量的表示 矩阵的加法 矩阵与实数的乘法 矩阵的表达式 矩阵与向量的乘法 矩阵与矩阵的乘法 矩阵特性——不满足交换律 矩阵特性——满足结合律 单位矩阵 矩阵的逆 矩阵的转置
阅读全文
摘要：机器学习目前已经应用在很多领域，比如网页搜索、垃圾邮件过滤、点击率预测、生物信息、无人驾驶、无人机、手写体识别、自然语言处理、计算机视觉。 更多内容参考 "机器学习&深度学习" 什么是机器学习 1 机器学习一些比较难以变成的能力——Arthur Samuel 2 通过给定任务T以及性能度量P以及经验
阅读全文
摘要：极大似然估计是概率论中一个很常用的估计方法，在机器学习中的逻辑回归中就是基于它计算的损失函数，因此还是很有必要复习一下它的相关概念的。 背景 先来看看几个小例子： 猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？ 一个袋子中总共有黑白两种
阅读全文
摘要：从事推荐系统已经快一年了，遇到过很多的茫然不知所措，也踩过不少坑，索性把所有推荐的资料都汇总一下，希望给新人以指引，或者给老司机作为归纳总结 如果电子书链接失效，可以私信我 算法基础 博客整理 业界参考 推荐文章 书籍推荐 算法基础 对于推荐系统是需要一些数学和机器学习的基本功的，假设你从来没有接触
阅读全文
摘要：spark 模型选择与超参调优 机器学习可以简单的归纳为 通过数据训练 的过程，因此定义完训练模型之后，就需要考虑如何选择最终我们认为最优的模型。 如何选择最优的模型，就是本篇的主要内容： 模型验证的方法 超参数的选择 评估函数的选择 模型验证的方法 在《统计学习方法》这本书中，曾经讲过模型验证的方
阅读全文
摘要：在电商领域里，搜索是一种最直接的用户消费的场景。每个用户进入一个app，都有自己的一些意图，比如想买鞋子、想买衣服，而且对一些品牌以及颜色风格都有一定的要求。因此搜索对于商品的触达是非常重要的。 我这里就针对自己的理解，对个性化的搜索做一个粗略的总结。一般来说app内的搜索都会经历下面几个阶段： 应
阅读全文
摘要：随着深度学习概念火起来，TensorFlow也跟着成为业界流行的深度学习框架。它采用CPU+GPU的并行计算模式，使得神经网络可以有效的并行计算，从以前的三层网络到现在的深层网络，深度学习+tensorflow已经开始深入人心。 笔者也本着投石问路的心态，尝试玩一玩这个高大上的东西。那么先从安装开始
阅读全文
摘要：在机器学习中，一般都会按照下面几个步骤：特征提取、数据预处理、特征选择、模型训练、检验优化。那么特征的选择就很关键了，一般模型最后效果的好坏往往都是跟特征的选择有关系的，因为模型本身的参数并没有太多优化的点，反而特征这边有时候多加一个或者少加一个，最终的结果都会差别很大。 在SparkMLlib中为
阅读全文
摘要：用户画像在大数据分析中是一种很有用的系统，它可以各种不同的系统中，起到很关键的作用。比如搜索引擎、推荐系统、内容系统等等，可以帮助应用实现千人千面、个性化、精准等的效果。 下面将从几个方面来说一下，什么是用户画像，主要的内容来自《用户网络行为画像分析与内容推荐应用》这本书。 应用场景 数据来源 特性
阅读全文
摘要：在机器学习中，线性回归和逻辑回归算是最基础入门的算法，很多书籍都把他们作为第一个入门算法进行介绍。除了本身的公式之外，逻辑回归和线性回归还有一些必须要了解的内容。一个很常用的知识点就是虚拟变量（也叫做哑变量）—— 用于表示一些无法直接应用到线性公式中的变量（特征）。 举个例子： 通过身高来预测体重，
阅读全文
摘要：1 概念 2 安装 3 RDD RDD包含两种基本的类型：Transformation和Action。RDD的执行是延迟执行，只有Action算子才会触发任务的执行。 宽依赖和窄依赖用于切分任务，如果都是窄依赖，那么就可以最大化的利用并行。 常用操作： cache 缓存 cartesian 笛卡尔积
阅读全文
摘要：之前流水账似的介绍过一篇机器学习入门的文章，大致介绍了如何学习以及机器学习的入门方法并提供了一些博主自己整理的比较有用的资源。这篇就尽量以白话解释并介绍机器学习在推荐系统中的实践以及遇到的问题... 也许很多点在行家的眼里都是小菜一碟，但是对于刚刚接触机器学习来说，还有很多未知等待挑战。 所以读者可
阅读全文
摘要：这一个月，从对机器学习充满好奇与畏惧，到对各种算法稍有理解以及围绕推荐场景的编码实践，算是对机器学习有了一个入门的体验。但是中间也踩过不少坑，比如啃过线性代数的教材、看过无聊的机器学习课程、追过高端的机器学习书籍、陷入一个算法无法自拔（最后也没整明白）...其实，学习机器学习没有那么难，也很容易走偏
阅读全文
摘要：
阅读全文
