posts - 36,  comments - 0,  views - 29703
02 2022 档案
机器学习笔记之关联规则
摘要:机器学习笔记之关联规则 一、关联规则概述 1.1 关联规则 关联规则(Association Rules)反映一个事物与其他事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系,那么,其中一个事物就能够通过其他事物预测到。 关联规则可以看作是一种IF-THEN关系。假设商品A被客 阅读全文
posted @ 2022-02-28 23:09 lixin05 阅读(1124) 评论(0) 推荐(0) 编辑
机器学习笔记之降维
摘要:机器学习笔记之降维 一、降维概述 维数灾难(Curse of Dimensionality):通常是指在涉及到向量的计算的问题中,随着维数的增加,计算量呈指数倍增长的一种现象。在很多机器学习问题中,训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话,不仅会让训练非常缓慢,还会极 阅读全文
posted @ 2022-02-28 22:02 lixin05 阅读(1166) 评论(0) 推荐(0) 编辑
机器学习笔记之聚类
摘要:机器学习笔记之聚类 一、无监督学习概述 1.1 监督学习和无监督学习的区别 监督学习:在一个典型的监督学习中,训练集有标签𝑦 ,我们的目标是找到能够区分正样本和负样本的决策边界,需要据此拟合一个假设函数。 无监督学习:与此不同的是,在无监督学习中,我们的数据没有附带任何标签𝑦,无监督学习主要分为 阅读全文
posted @ 2022-02-28 17:09 lixin05 阅读(259) 评论(0) 推荐(0) 编辑
机器学习笔记之支持向量机
摘要:机器学习笔记之支持向量机 一、支持向量机概述 支 持 向 量 机 ( Support Vector Machine,SVM ) 是 一 类 按 监 督 学 习 (supervised learning)方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面(maximum 阅读全文
posted @ 2022-02-27 23:11 lixin05 阅读(268) 评论(0) 推荐(0) 编辑
机器学习笔记之人工神经网络
摘要:机器学习笔记之人工神经网络 一、发展历史 1943年,心理学家McCulloch和逻辑学家Pitts建立神经网络的数学模型,MP模型。 神经元生理结构: 神经元数学模型: 1.1 人工神经员发展历史 1960年代,人工网络得到了进一步地发展感知机和自适应线性元件等被提出。M.Minsky仔细分析了以 阅读全文
posted @ 2022-02-22 23:23 lixin05 阅读(313) 评论(0) 推荐(0) 编辑
机器学习笔记之集成学习
摘要:机器学习笔记之集成学习 一、集成学习方法概述 1.1 Bagging 从训练集中进行子抽样组成每个基模型所需要的子训练集,对所有基模型预测的结果进行综合产生最终的预测结果: 训练过程为阶梯状,基模型按次序一一进行训练(实现上可以做到并行),基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型 阅读全文
posted @ 2022-02-21 16:07 lixin05 阅读(145) 评论(0) 推荐(0) 编辑
机器学习笔记之决策树
摘要:机器学习笔记之决策树 一、决策树原理 1.1 决策树介绍 决策树:从训练数据中学习得出一个树状结构的模型。 决策树属于判别模型。 决策树是一种树状结构,通过做出一系列决策(选择)来对数据进行划分,这类似于针对一系列问题进行选择。 决策树的决策过程就是从根节点开始,测试待分类项中对应的特征属性,并按照 阅读全文
posted @ 2022-02-20 16:52 lixin05 阅读(471) 评论(0) 推荐(0) 编辑
机器学习笔记之KNN算法
摘要:机器学习之KNN算法 一、距离度量 欧氏距离(Euclidean distance):欧几里得度量(Euclidean Metric)(也称欧氏距离)是一个通常采用的距离定义,指在𝑚维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实 阅读全文
posted @ 2022-02-20 11:45 lixin05 阅读(195) 评论(0) 推荐(0) 编辑
机器学习笔记之Scikit-learn
摘要:机器学习笔记之Scikit-learn 一、Scikit-learn概述 Scikit-learn是基于NumPy、 SciPy和 Matplotlib的开源Python机器学习包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数据分析师首选的机器学习工具包。 自2007年发布以来,sc 阅读全文
posted @ 2022-02-20 11:01 lixin05 阅读(320) 评论(0) 推荐(0) 编辑
机器学习笔记之实践
摘要:机器学习之实践 一、数据集划分 训练集(Training Set):帮助我们训练模型,简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集(Validation Set):也叫做开发集( Dev Set ),用来做模型选择(model selection),即做模型的最终优化及确定的,用来 阅读全文
posted @ 2022-02-18 17:59 lixin05 阅读(268) 评论(0) 推荐(0) 编辑
机器学习笔记之朴素贝叶斯
摘要:机器学习之朴素贝叶斯 一、贝叶斯方法 1.1 贝叶斯方法-背景知识 贝叶斯分类:是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。 先验概率:根据以往经验和分析得到的概率。我们用𝑃(𝑌)来代表在没有训练 数据前假设𝑌拥有的初始概率。 后验概率:根据已经发生的事件来分析得到 阅读全文
posted @ 2022-02-18 16:32 lixin05 阅读(352) 评论(0) 推荐(0) 编辑
机器学习笔记之逻辑回归
摘要:机器学习之逻辑回归 一、分类问题 监督学习最主要类型:分类(Classification),输入变量可以是离散的,也可以是连续的,标签离散。 二分类:我们先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次。 多分类:我们先定义其中一类为类型1(正类),其余数据为负类(rest);接下来 阅读全文
posted @ 2022-02-18 15:09 lixin05 阅读(58) 评论(0) 推荐(0) 编辑
机器学习笔记之回归
摘要:机器学习之回归 一、线性回归 监督学习分为回归和分类: 回归(Regression):标签连续 分类(Classification):标签离散 1.1 回归的概念 线性回归(Linear Regression):是一种通过属性的线性组合来进行预测的线性模型,其目的是找到一条直线或者一个平面或者更高维 阅读全文
posted @ 2022-02-17 21:48 lixin05 阅读(138) 评论(0) 推荐(0) 编辑
机器学习笔记之绪论
摘要:机器学习之绪论 一、机器学习概述 1.1 机器学习与人工智能、深度学习的关系: 人工智能:机器展现的人类智能 机器学习:计算机利用已有的数据(经验),得出了某种模型,并利用此模型预测未来的一种方法。 深度学习:实现机器学习的一种技术。 1.2 机器学习的范围 1.3 机器学习可以解决什么问题 给定数 阅读全文
posted @ 2022-02-17 18:06 lixin05 阅读(58) 评论(0) 推荐(0) 编辑
分布式数据库HBase
摘要:分布式数据库HBase 一、概述 1.1 HBase简介 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库,是谷歌BigTable的开源实现,主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表,可以通过水平扩展的方式,利用廉价计算机集群处理由超过10亿行数据和数 阅读全文
posted @ 2022-02-16 17:31 lixin05 阅读(192) 评论(0) 推荐(0) 编辑
分布式文件系统HDFS
摘要:分布式文件系统HDFS 一、分布式文件系统 1.1 计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。 分布式文件系统所采用的计算机集群,都是由普通硬件构成的,大大降低了硬件上的开销。 1.2 分布式文件系统的结构 分布式文件系统在物理结构上是由计算 阅读全文
posted @ 2022-02-16 14:47 lixin05 阅读(1222) 评论(0) 推荐(0) 编辑
大数据处理架构Hadoop
摘要:大数据处理架构Hadoop 一、概述 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构,基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中 。 Hadoop的核心是分布式文件系统HDF 阅读全文
posted @ 2022-02-16 01:40 lixin05 阅读(794) 评论(0) 推荐(0) 编辑
大数据概述
摘要:大数据概述 一、大数据时代 1.1 第三次信息化浪潮 IT领域每隔十五年就会迎来一次重大变革,信息科技为大数据时代提供技术支撑: 存储设备容量不断增加 CPU处理能力大幅提升 网络带宽不断增加 1.2 数据产生方式的变革: 1.3 大数据的发展历程 : 二、大数据概念 2.1 数据量大 根据IDC作 阅读全文
posted @ 2022-02-16 01:12 lixin05 阅读(807) 评论(0) 推荐(0) 编辑
大数据之Pregel图计算原理
摘要:大数据之图计算相关原理 最近在看大数据图计算相关的论文,故将图计算的原理简单梳理一遍,参考资料为<<大数据技术原理与应用>> 一、图计算简介 1.1. 图结构: 图形数据结构与一般数据结构不同,它必须要反映数据所对应元素之间的几何关系和拓扑关系。图形数据结构通常是指由若干个图形数据元素按一定关系所组 阅读全文
posted @ 2022-02-09 23:30 lixin05 阅读(1707) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示