摘要：SparkContext：通往Spark集群的入口点，用于创建RDD和广播变量等 RDD：弹性分布式数据集，Spark应用程序的核心抽象 Transformation：操作RDD生成新的RDD，如map、filter等 Action：对RDD的操作，如count、collect等 args，MAIN
阅读全文
posted @ 2023-12-28 10:49
随笔分类 - bigdata2023
摘要：本实验以通过华为云CDM服务进行数据迁移为例，介绍如何将其他Hadoop集群的历史数据迁移至华为云MRS中，以便获取MRS云服务的诸多特性。 本迁移指导将指导适用于多种不同场景下的HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险，因此本指导只作为实
阅读全文
posted @ 2023-12-27 13:15
摘要：本实验基于DLI环境，以车联网场景驾驶行为数据分析、电商BI报表分析为案例，提供了完整的端到端最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。 购买OBS服务 “产品->存储->对象存储服务 OBS”进入OBS页面。 点击“管理控制台” 选择“桶列表->创建桶” 区域：华北-北京四 桶名称
阅读全文
posted @ 2023-12-27 12:41
摘要：本实验基于MRS环境，Impala部分主要介绍基本操作。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程。Flink部分主要介绍如何实现Flink与Kafka的连接以满足实时计算场景应用。 购买MRS集群 选择“自定义购买” 区域：华北-北京四
阅读全文
posted @ 2023-12-27 12:20
摘要：本实验基于MRS环境，Kafka部分主要介绍kafka命令行脚本的基本使用规范，以及通过介绍一个电商数据实时分析的场景将Kafka和Spark Streaming进行组合，帮助大家更好地掌握实际项目的开发流程。ClickHouse部分主要介绍常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数
阅读全文
posted @ 2023-12-27 11:45
摘要：本实验基于MRS环境，主要介绍如何利用Spark RDD的常用算子进行简单统计分析，以及如何利用SparkSQL进行结构化批处理。 购买弹性公网IP 购买MRS集群 选择“自定义购买” 区域：华北—北京四 计费模式：按需计费 集群名称：mrs-bigdata 版本类型：普通版 集群版本：MRS 3.
阅读全文
posted @ 2023-12-27 11:04
摘要：MRS基础组件之HBase与Hive开发应用 本实验基于MRS环境，介绍如何利用HBase与Hive来进行相关操作。其中，HBase主要介绍包括如何利用Java API创建数据表、写入数据、查看数据以及删除数据；而Hive则通过介绍UDF、UDTF和UDAF等自定义函数的基本操作，讲解如何进行自定义
阅读全文
posted @ 2023-12-27 10:38
摘要：1.购买弹性公网IP 产品->网络->弹性公网IP EIP 计费模式：按需计费 区域：华北-北京四 线路：全动态BGP 公网带宽：按流量计费 带宽大小：100 IPv6：不开启 弹性公网IP名称：eip-bigdata1 购买量：1 2.购买MRS集群 产品-》大数据=》MapReduce服务 选择
阅读全文
posted @ 2023-12-27 09:09
