随笔分类 - 机器学习
摘要：更多内容关注专辑: 机器学习实战 1 介绍 Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合，内部集成的方式融合机器学习中的很多领域的开源项目，比如Jupyter、tfserving、Katib、Fairing、Argo等。可以针对机器学习的不同阶段：数据预处理
阅读全文
摘要：最近看到一份不错的深度学习资源——Stanford中的CS20SI：《TensorFlow for Deep Learning Research》，正好跟着学习一下TensorFlow的基础，还是收获颇丰，随手整理成博客随时翻阅。 为什么选择TensorFlow? 自从12年AlexNet获得Ima
阅读全文
摘要：凭借着对算法和AI的向往，终于有机会接触到人工智能的领域。现在的主要工作就是在OCR文字识别，期间也看了不少的论文，从CTPN到Faster RCNN，再到EAST和FOTS。最开始因为刚接触这个领域，很多名词看不懂，论文阅读非常吃力，后来随着知识的积累和深入，现在阅读也变得轻松起来。最近关注爱可可
阅读全文
摘要：PMML是一种通用的配置文件，只要遵循标准的配置文件，就可以在Spark中训练机器学习模型，然后再web接口端去使用。目前应用最广的就是基于Jpmml来加载模型在javaweb中应用，这样就可以实现跨平台的机器学习应用了。 训练模型 首先在spark MLlib中使用mllib包下的逻辑回归训练模型
阅读全文
摘要：本节课主要讲述了cs231n课程的背景和计算机视觉的历史，也主要介绍了目前很重要的一个计算机视觉数据集——IMAGENET。 更多内容参考 "我的AI学习之路" 课程简介 这门课程是由stanford大学计算机视觉李飞飞以及她的学生制作的，也叫做CS231n，是偏专业性的深度学习+计算机视觉课程。
阅读全文
摘要：OCR的全称是Optical Character Recoginition，光学字符识别技术。目前应用于各个领域方向，甚至这些应用就在我们的身边，比如身份证的识别、交通路牌的识别、车牌的自动识别等等。本篇就先讲一下基于开源软件和大厂服务的文字识别效果，后续会陆续讲解一下机器学习和深度学习实现的方案和
阅读全文
摘要：本章讲述了SVM，相比于《统计学习方法》，从逻辑回归的角度更容易理解了。 更多内容参考 "机器学习&深度学习" 从逻辑回归来看，看损失值与Z的值的关系： 代入原来的是指，可以化简公式： 总结来说：如果y=1，我们希望z的值大于等于1，如果y=0，我们希望z的值小于 1，这样损失函数的值都会为0. 线
阅读全文
摘要：本章讲了梯度下降的几种方式：batch梯度下降、mini batch梯度下降、随机梯度下降。也讲解了如何利用mapreduce或者多cpu的思想加速模型的训练。 更多内容参考 "机器学习&深度学习" 有的时候数据量会影响算法的结果，如果样本数据量很大，使用梯度下降优化参数时，一次调整参数需要计算全量
阅读全文
摘要：之前一直在CPU上跑深度学习，由于做的是NLP方向所以也能勉强忍受。最近在做图像的时候，实在是扛不住了...还好领导们的支持买个虚拟机先体验下。由于刚买的机器，环境都得自己摸索，瞎搞过很多次，也走过很多弯路，所以我就记录下从裸机安装深度学习环境的正确过程。（全程root用户哦！） 裸机简介 服务器是
阅读全文
摘要：本章讲述了推荐系统相关的知识，比如基于内容的推荐算法、基于协同过滤的推荐算法以及实践中遇到的问题。 更多内容参考 "机器学习&深度学习" 推荐系统是机器学习在工业界应用最广泛的方向，很多电子商务类、咨询类的平台都在做个性化推荐的工作，通过机器学习的算法让自己的平台个性定制，千人千面。 比如我们拥有这
阅读全文
摘要：本篇介绍了异常点检测相关的知识 更多内容参考 "机器学习&深度学习" 我感觉这篇整理的很好很用心，可以详细参考： https://blog.csdn.net/Snail_Moved_Slowly/article/details/78826088 什么是异常点检测？比如针对飞机的引擎做测试，x1代表温
阅读全文
摘要：本章重点讲述了降维方法以及其中最主要的PCA主成分分析的原理、使用 更多内容参考 "机器学习&深度学习" 降维的作用：数据压缩与可视化 降维的第一个作用就是进行数据的压缩，解决磁盘和计算的问题。比如把二维数据降维到一维： 或者数据从三维降维到2维。 降维的另一个作用就是进行可视化，比如我们的数据有很
阅读全文
摘要：本章讲述的是一个复杂的机器学习系统，通过它可以看到机器学习的系统是如何组装起来的；另外也说明了一个复杂的流水线系统如何定位瓶颈与分配资源。 更多内容参考 "机器学习&深度学习" OCR的问题就是根据图片识别图片中的文字： 这种OCR识别的问题可以理解成三个步骤： 1. 文本检测 2. 字符切分 3.
阅读全文
摘要：本章讲述的是第一个无监督的机器学习算法，在无监督的算法中，样本数据只有特征向量，并没有标注的y值。比如聚类算法，它可以用在市场分类、社交网络分析、天体数据分析等等。 更多内容参考 "机器学习&深度学习" 在做聚类时，最简单的算法就是k means，一般的流程是: 1. 首先随机选择k个聚类中心点 2
阅读全文
摘要：本章主要围绕机器学习的推荐实践过程以及评测指标，一方面告诉我们如何优化我们的模型；另一方面告诉我们对于分类的算法，使用精确率和召回率或者F1值来衡量效果更佳。最后还强调了下，在大部分的机器学习中，训练样本对模型的准确率都有一定的影响。 更多内容参考 "机器学习&深度学习" 机器学习最佳实践 针对垃圾
阅读全文
摘要：本篇讲述了在机器学习应用时，如何进行下一步的优化。如训练样本的切分验证？基于交叉验证的参数与特征选择？在训练集与验证集上的学习曲率变化？在高偏差或者高方差时如何进行下一步的优化，增加训练样本是否有效？ 更多内容参考 "机器学习&深度学习" 如果已经创建好了一个机器学习的模型，当我们训练之后发现还存在
阅读全文
摘要：本篇讲述了神经网络的误差反向传播以及训练一个神经网络模型的流程 更多内容参考 "机器学习&深度学习" 神经网络可以理解为两个过程：信号的正向传播和误差的反向传播。在正向的传播过程中，计算方法为Sj=wij xi+bj，其中i是样本、j是层数。然后xj=f(Sj)，f为激活函数。引入激活函数的原因是可
阅读全文
摘要：本章讲述了神经网络的起源与神经元模型，并且描述了前馈型神经网络的构造。 更多内容参考 "机器学习&深度学习" 在传统的线性回归或者逻辑回归中，如果特征很多，想要手动组合很多有效的特征是不现实的；而且处理这么大的特征数据量，计算上也很复杂。 神经网络最开始起源于生物信息中的大脑，在上世纪80 90年代
阅读全文
摘要：本章讲述了机器学习中如何解决过拟合问题——正则化。讲述了正则化的作用以及在线性回归和逻辑回归是怎么参与到梯度优化中的。 更多内容参考 "机器学习&深度学习" 在训练过程中，在训练集中有时效果比较差，我们叫做欠拟合；有时候效果过于完美，在测试集上效果很差，我们叫做过拟合。因为欠拟合和过拟合都不能良好的
阅读全文
摘要：本章主要讲解了逻辑回归相关的问题，比如什么是分类？逻辑回归如何定义损失函数？逻辑回归如何求最优解？如何理解决策边界？如何解决多分类的问题？ 更多内容参考 "机器学习&深度学习" 有的时候我们遇到的问题并不是线性的问题，而是分类的问题。比如判断邮件是否是垃圾邮件，信用卡交易是否正常，肿瘤是良性还是恶性
阅读全文
