摘要:
本文介绍Spark中用于大数据机器学习的板块MLlib/ML,讲解机器学习工作流(Pipeline)及其构建方式,并详解讲解基于DataFrame的Spark ML特征工程,包括二值化、定边界离散化、标准化、特征抽取等。 阅读全文
![图解大数据 | Spark机器学习(上)-工作流与特征工程](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308233603585-968730330.png)
摘要:
Spark Streaming是Spark核心API的一个扩展,可以实现实时数据的可拓展,高吞吐量。本文讲解Spark Streaming的架构、作业提交和工作原理,以及DStream的创建、转换和Graph,并通过案例代码展示应用的细节。 阅读全文
![图解大数据 | 流式数据处理-Spark Streaming](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308231628782-1823650472.png)
摘要:
文娱影音是目前大数据与AI应用最广泛的场景之一,本案例以音乐专辑发行数据为背景,讲解使用pyspark对HDFS存储的数据进行处理数据分析的过程,并且对分析结果做了可视化呈现。 阅读全文
![图解大数据 | 综合案例-使用Spark分析挖掘音乐专辑数据](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308230028840-874288971.png)
摘要:
电商与新零售是目前大数据与AI应用最广泛的场景之一,本案例以跨国在线零售业务为背景,讲解使用pyspark对HDFS存储的数据进行交易数据分析的过程,并且对分析结果使用echarts做了可视化呈现。 阅读全文
![图解大数据 | 综合案例-使用Spark分析挖掘零售交易数据](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308222920620-1971224483.png)
摘要:
2020以来新冠疫情改变了全世界,影响着大家的生活,本案例结合大数据分析技术,使用pyspark对2020年美国新冠肺炎疫情进行数据分析,并结合可视化方法进行结果呈现。 阅读全文
![图解大数据 | 综合案例-使用spark分析新冠肺炎疫情数据](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308221407237-1815161781.png)
摘要:
DataFrame是一个以命名列方式组织的分布式数据集。本文详细讲解 Spark Dataframe的创建方式,Dataframe数据的Agg、Collect、Groupby、Join等核心操作,以及Spark SQL操作核心要点。 阅读全文
![图解大数据 | Spark Dataframe/SQL大数据处理分析](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308215633743-618383596.png)
摘要:
RDD(弹性分布式数据集合)是Spark的基本数据结构,Spark中的所有数据都是通过RDD的形式进行组织。本文讲解RDD的属性、创建方式、广播与累加器等重要知识点,并图解RDD高频算子。 阅读全文
![图解大数据 | 基于Spark RDD的大数据处理分析](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308212612325-1462473901.png)
摘要:
Apache Spark是目前最主流和常用的分布式开源处理系统,支持跨多个工作负载重用代码—批处理、交互式查询、实时分析、机器学习和图形处理等。本节ShowMeAI给大家讲解它的相关知识。 阅读全文
![图解大数据 | 大数据分析挖掘-Spark初步](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308191245929-588144782.png)
摘要:
HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库,包含Region Server、HBase Master、ZooKeeper等三个组件。Hive是基于Hadoop的一个数据仓库工具,用于结构化数据的查询、分析和汇总。 阅读全文
![图解大数据 | 海量数据库查询-Hive与HBase详解](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308185134536-988724771.png)
摘要:
Hive是大数据离线计算的关键组件,常用于数仓建设。本节ShowMeAI来详细讲解Hive的搭建和配置及使用方法。 阅读全文
![图解大数据 | 实操案例-Hive搭建与应用案例](https://img2022.cnblogs.com/blog/2637458/202203/2637458-20220308184043082-855869075.png)