随笔分类 - 图解大数据技术 ◉ 全生态知识宝库
AI工程师『不得不』掌握的大数据技术，都汇总在这份路线里！教程以大数据技术为根基，讲解大数据开发、数据处理、数据分析的核心理论&实战技能 @ShowMeAI研究中心
摘要：
Pandas灵活强大，是数据分析必备工具库！但处理大型数据集时，需过渡到PySpark才可以发挥并行计算的优势。本文总结了Pandas与PySpark的核心功能代码段，掌握即可丝滑切换。
阅读全文
Pandas灵活强大，是数据分析必备工具库！但处理大型数据集时，需过渡到PySpark才可以发挥并行计算的优势。本文总结了Pandas与PySpark的核心功能代码段，掌握即可丝滑切换。
阅读全文
摘要：
如何在海量用户中精准预测哪些客户即将流失？本文结合音乐流媒体平台 Sparkify 数据，详细讲解一个客户流失建模预测案例的全流程：探索性数据分析 EDA、数据处理、进一步数据探索、建模优化、结果评估。【代码与数据集亲测可运行】
阅读全文
如何在海量用户中精准预测哪些客户即将流失？本文结合音乐流媒体平台 Sparkify 数据，详细讲解一个客户流失建模预测案例的全流程：探索性数据分析 EDA、数据处理、进一步数据探索、建模优化、结果评估。【代码与数据集亲测可运行】
阅读全文
摘要：
GraphFrames库构建在DataFrame之上，具备DataFrame强大的性能，也提供了统一的图处理API。本文讲解GraphFrames的构建使用，包括query与数据分析、图中点与边的计算、图入度与出度的应用等。
阅读全文
GraphFrames库构建在DataFrame之上，具备DataFrame强大的性能，也提供了统一的图处理API。本文讲解GraphFrames的构建使用，包括query与数据分析、图中点与边的计算、图入度与出度的应用等。
阅读全文
摘要：
本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解分类算法、回归算法、聚类算法和PCA降维算法的代码实践，并讲解超参数调优和交叉验证、训练集验证集切分等重要知识点。
阅读全文
本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解分类算法、回归算法、聚类算法和PCA降维算法的代码实践，并讲解超参数调优和交叉验证、训练集验证集切分等重要知识点。
阅读全文
摘要：
本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解机器学习工作流(Pipeline)及其构建方式，并详解讲解基于DataFrame的Spark ML特征工程，包括二值化、定边界离散化、标准化、特征抽取等。
阅读全文
本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解机器学习工作流(Pipeline)及其构建方式，并详解讲解基于DataFrame的Spark ML特征工程，包括二值化、定边界离散化、标准化、特征抽取等。
阅读全文
摘要：
Spark Streaming是Spark核心API的一个扩展，可以实现实时数据的可拓展，高吞吐量。本文讲解Spark Streaming的架构、作业提交和工作原理，以及DStream的创建、转换和Graph，并通过案例代码展示应用的细节。
阅读全文
Spark Streaming是Spark核心API的一个扩展，可以实现实时数据的可拓展，高吞吐量。本文讲解Spark Streaming的架构、作业提交和工作原理，以及DStream的创建、转换和Graph，并通过案例代码展示应用的细节。
阅读全文
摘要：
文娱影音是目前大数据与AI应用最广泛的场景之一，本案例以音乐专辑发行数据为背景，讲解使用pyspark对HDFS存储的数据进行处理数据分析的过程，并且对分析结果做了可视化呈现。
阅读全文
文娱影音是目前大数据与AI应用最广泛的场景之一，本案例以音乐专辑发行数据为背景，讲解使用pyspark对HDFS存储的数据进行处理数据分析的过程，并且对分析结果做了可视化呈现。
阅读全文
摘要：
电商与新零售是目前大数据与AI应用最广泛的场景之一，本案例以跨国在线零售业务为背景，讲解使用pyspark对HDFS存储的数据进行交易数据分析的过程，并且对分析结果使用echarts做了可视化呈现。
阅读全文
电商与新零售是目前大数据与AI应用最广泛的场景之一，本案例以跨国在线零售业务为背景，讲解使用pyspark对HDFS存储的数据进行交易数据分析的过程，并且对分析结果使用echarts做了可视化呈现。
阅读全文
摘要：
2020以来新冠疫情改变了全世界，影响着大家的生活，本案例结合大数据分析技术，使用pyspark对2020年美国新冠肺炎疫情进行数据分析，并结合可视化方法进行结果呈现。
阅读全文
2020以来新冠疫情改变了全世界，影响着大家的生活，本案例结合大数据分析技术，使用pyspark对2020年美国新冠肺炎疫情进行数据分析，并结合可视化方法进行结果呈现。
阅读全文
摘要：
DataFrame是一个以命名列方式组织的分布式数据集。本文详细讲解 Spark Dataframe的创建方式，Dataframe数据的Agg、Collect、Groupby、Join等核心操作，以及Spark SQL操作核心要点。
阅读全文
DataFrame是一个以命名列方式组织的分布式数据集。本文详细讲解 Spark Dataframe的创建方式，Dataframe数据的Agg、Collect、Groupby、Join等核心操作，以及Spark SQL操作核心要点。
阅读全文
摘要：
RDD(弹性分布式数据集合)是Spark的基本数据结构，Spark中的所有数据都是通过RDD的形式进行组织。本文讲解RDD的属性、创建方式、广播与累加器等重要知识点，并图解RDD高频算子。
阅读全文
RDD(弹性分布式数据集合)是Spark的基本数据结构，Spark中的所有数据都是通过RDD的形式进行组织。本文讲解RDD的属性、创建方式、广播与累加器等重要知识点，并图解RDD高频算子。
阅读全文
摘要：
Apache Spark是目前最主流和常用的分布式开源处理系统，支持跨多个工作负载重用代码—批处理、交互式查询、实时分析、机器学习和图形处理等。本节ShowMeAI给大家讲解它的相关知识。
阅读全文
Apache Spark是目前最主流和常用的分布式开源处理系统，支持跨多个工作负载重用代码—批处理、交互式查询、实时分析、机器学习和图形处理等。本节ShowMeAI给大家讲解它的相关知识。
阅读全文
摘要：
HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库，包含Region Server、HBase Master、ZooKeeper等三个组件。Hive是基于Hadoop的一个数据仓库工具，用于结构化数据的查询、分析和汇总。
阅读全文
HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库，包含Region Server、HBase Master、ZooKeeper等三个组件。Hive是基于Hadoop的一个数据仓库工具，用于结构化数据的查询、分析和汇总。
阅读全文
摘要：
Hive是大数据离线计算的关键组件，常用于数仓建设。本节ShowMeAI来详细讲解Hive的搭建和配置及使用方法。
阅读全文
Hive是大数据离线计算的关键组件，常用于数仓建设。本节ShowMeAI来详细讲解Hive的搭建和配置及使用方法。
阅读全文
摘要：
Hadoop使用一套Map-Reduce的计算框架，解决了大数据处理的难题。本教程ShowMeAI通过几个实例和代码，详细给大家讲解Hadoop使用Map-Reduce进行数据统计的方法。
阅读全文
Hadoop使用一套Map-Reduce的计算框架，解决了大数据处理的难题。本教程ShowMeAI通过几个实例和代码，详细给大家讲解Hadoop使用Map-Reduce进行数据统计的方法。
阅读全文
摘要：
本教程详细讲解Hadoop的安装与环境配置方法，并配有相关软件的下载方法。需要主义的是，本教程的工作环境为Linux系统。
阅读全文
本教程详细讲解Hadoop的安装与环境配置方法，并配有相关软件的下载方法。需要主义的是，本教程的工作环境为Linux系统。
阅读全文
摘要：
随着互联网高速发展，网络数据呈现出指数级别的快速增长，针对海量数据处理的大数据解决方案应运而生。ShowMeAI将在接下来的内容中逐步展开讲解大数据生态工具的应用，以及大数据的处理分析挖掘方法。
阅读全文
随着互联网高速发展，网络数据呈现出指数级别的快速增长，针对海量数据处理的大数据解决方案应运而生。ShowMeAI将在接下来的内容中逐步展开讲解大数据生态工具的应用，以及大数据的处理分析挖掘方法。
阅读全文
摘要：
Hadoop是最基础和场景的开源分布式计算平台，ShowMeAI在本节内容中给大家讲解Hadoop相关知识。
阅读全文
Hadoop是最基础和场景的开源分布式计算平台，ShowMeAI在本节内容中给大家讲解Hadoop相关知识。
阅读全文
摘要：
本篇内容是ShowMeAI组织的「图解大数据处理与开发」系列教程入口，本教程以大数据技术为根基，给大家讲解大数据开发与数据处理分析的相关知识与技能，并配以相关的实战案例帮助大家学习理解。
阅读全文
本篇内容是ShowMeAI组织的「图解大数据处理与开发」系列教程入口，本教程以大数据技术为根基，给大家讲解大数据开发与数据处理分析的相关知识与技能，并配以相关的实战案例帮助大家学习理解。
阅读全文
