摘要：
MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）” 映射和归纳 映射一个映射函数就是对一些独立元素组成的概念上的列表（例如，一个测试成绩的列表）的每一个元素进行指定的操作（比如，有人发现所有学生的成绩都被高估 阅读全文
posted @ 2024-01-03 16:08 打杂滴 阅读(33) 评论(0) 推荐(0) 编辑
2024年1月3日
摘要：
主方法（main）的写法 public static void main(String[] args) { }； public static void main(String args[]) { }； String args[] 与 String[] args 没有区别 String[] args是 阅读全文
posted @ 2024-01-03 11:49 打杂滴 阅读(47) 评论(0) 推荐(0) 编辑
摘要：
Java 语言的开发运行，也离不开 Java 语言的运行环境 JRE。没有 JRE 的支持，Java 语言便无法运行。当然，如果还想编译 Java 程序，搞搞小开发的话，JRE 是明显不够了，这时候就需要 JDK。其实啊，JDK 就是 JRE 加上一些常用工具组成的。JDK 不仅能运行已经被编译好了 阅读全文
posted @ 2024-01-03 10:22 打杂滴 阅读(5) 评论(0) 推荐(0) 编辑
摘要：
在编写 Java 程序时，随着程序架构越来越大，类的个数也越来越多，这时就会发现管理程序中维护类名称也是一件很麻烦的事，尤其是一些同名问题的发生。有时，开发人员还可能需要将处理同一方面的问题的类放在同一个目录下，以便于管理。 为了解决上述问题，Java 引入了包（package）机制，提供了类的多层 阅读全文
posted @ 2024-01-03 10:20 打杂滴 阅读(65) 评论(0) 推荐(0) 编辑
2023年12月28日
摘要：
SparkContext：通往Spark集群的入口点，用于创建RDD和广播变量等 RDD：弹性分布式数据集，Spark应用程序的核心抽象 Transformation：操作RDD生成新的RDD，如map、filter等 Action：对RDD的操作，如count、collect等 args，MAIN 阅读全文
posted @ 2023-12-28 10:49 打杂滴 阅读(185) 评论(0) 推荐(0) 编辑
2023年12月27日
摘要：
本实验以通过华为云CDM服务进行数据迁移为例，介绍如何将其他Hadoop集群的历史数据迁移至华为云MRS中，以便获取MRS云服务的诸多特性。 本迁移指导将指导适用于多种不同场景下的HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险，因此本指导只作为实 阅读全文
posted @ 2023-12-27 13:15 打杂滴 阅读(72) 评论(0) 推荐(0) 编辑
摘要：
本实验基于DLI环境，以车联网场景驾驶行为数据分析、电商BI报表分析为案例，提供了完整的端到端最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。 购买OBS服务 “产品->存储->对象存储服务 OBS”进入OBS页面。 点击“管理控制台” 选择“桶列表->创建桶” 区域：华北-北京四 桶名称 阅读全文
posted @ 2023-12-27 12:41 打杂滴 阅读(61) 评论(0) 推荐(0) 编辑
摘要：
本实验基于MRS环境，Impala部分主要介绍基本操作。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程。Flink部分主要介绍如何实现Flink与Kafka的连接以满足实时计算场景应用。 购买MRS集群 选择“自定义购买” 区域：华北-北京四 阅读全文
posted @ 2023-12-27 12:20 打杂滴 阅读(65) 评论(0) 推荐(0) 编辑
摘要：
本实验基于MRS环境，Kafka部分主要介绍kafka命令行脚本的基本使用规范，以及通过介绍一个电商数据实时分析的场景将Kafka和Spark Streaming进行组合，帮助大家更好地掌握实际项目的开发流程。ClickHouse部分主要介绍常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数 阅读全文
posted @ 2023-12-27 11:45 打杂滴 阅读(49) 评论(0) 推荐(0) 编辑
摘要：
本实验基于MRS环境，主要介绍如何利用Spark RDD的常用算子进行简单统计分析，以及如何利用SparkSQL进行结构化批处理。 购买弹性公网IP 购买MRS集群 选择“自定义购买” 区域：华北—北京四 计费模式：按需计费 集群名称：mrs-bigdata 版本类型：普通版 集群版本：MRS 3. 阅读全文
posted @ 2023-12-27 11:04 打杂滴 阅读(31) 评论(0) 推荐(0) 编辑