小王同学学编程

2022年7月24日

摘要： Combine合并（1）Combiner是mr程序中Mapper和Reducer之外的一种组件。（2）Combiner组件的父类就是Reducer。（3）Combiner和reduce的区别在于运行的位置。 Combiner是在每一个MapTask所在的节点运行。 Reducer是接收全局所有阅读全文

posted @ 2022-07-24 15:23 小王同学学编程阅读(182) 评论(0) 推荐(0) 编辑

常见的数据结构

摘要： 1. 栈数据结构的执行特点后进先出，先进后出 2. 队列先进先出，后进后出入队列：数据从后端进入队列模型的过程。出队列：数据从前段离开队列模型的过程。 3. 常见数据结构之数组查询速度快：查询数据通过地址值和索引定位，查询任意数据耗时相同（元素在内存中是连续存储的）。删除效率低：要将原阅读全文

posted @ 2022-07-24 10:30 小王同学学编程阅读(73) 评论(0) 推荐(0) 编辑

2022年7月23日

Job job_local1114211371_0001 failed with state FAILED due to: NA问题

摘要： Job job_local1114211371_0001 failed with state FAILED due to: NA 出现这个问题是因为输入文件中有多余的空格，把这些空格取消掉就行了。阅读全文

posted @ 2022-07-23 16:28 小王同学学编程阅读(850) 评论(0) 推荐(0) 编辑

WritableComparable

摘要： 1. 排序概述排序时MapReduce框架中最重要的操作之一。 MapTask和ReduceTask均会对数据按照key进行排序，该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。对于MapTask 阅读全文

posted @ 2022-07-23 16:13 小王同学学编程阅读(32) 评论(0) 推荐(0) 编辑

Collection常用API、遍历方式、存储自定义类型的对象

摘要： Collection是单列集合的祖宗接口，它的功能是全部单列集合都可以继承使用的。 1. 常用API 1 import java.util.ArrayList; 2 import java.util.Arrays; 3 import java.util.Collection; 4 5 public 阅读全文

posted @ 2022-07-23 10:30 小王同学学编程阅读(74) 评论(0) 推荐(0) 编辑

2022年7月22日

Partition分区

摘要：默认分区默认分区是根据key的hashCode对ReduceTasks个数取模得到的。用户没法控制哪个key存储到哪个分区。自定义分区（1）自定义类继承Partitioner，重写getPartition() 方法（2）在Job驱动中，设置自定义Partitioner （3）自定义Pati 阅读全文

posted @ 2022-07-22 20:52 小王同学学编程阅读(144) 评论(0) 推荐(0) 编辑

MapReduce框架原理

摘要： 1.InputFormat数据输入（1）切片与MapTask并行度决定机制. MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 MapTask并行度决定机制数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。数据切片：数据切阅读全文

posted @ 2022-07-22 16:25 小王同学学编程阅读(41) 评论(0) 推荐(0) 编辑

序列化

摘要： 1）什么是序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的阅读全文

posted @ 2022-07-22 15:36 小王同学学编程阅读(91) 评论(0) 推荐(0) 编辑

Lambda

摘要：作用：简化匿名内部类的代码写法。注意： Lambda表达式只能简化函数式接口的匿名类的写法形式。什么是函数是接口：首先必须是接口，其次接口中有且仅有一个抽象方法的形式。通常我们会在接口上加上一个 @FunctionalInterface 注解，标记该接口必须是满足函数式接口。 1 publ 阅读全文

posted @ 2022-07-22 10:25 小王同学学编程阅读(44) 评论(0) 推荐(0) 编辑

Arrays类

摘要： Arrays类常用API 1 public class array_demo1 { 2 public static void main(String[] args) { 3 int[] arr = {7, 27 ,3 ,12 ,5}; 4 System.out.println(arr); 5 6 / 阅读全文

posted @ 2022-07-22 09:19 小王同学学编程阅读(24) 评论(0) 推荐(0) 编辑

小王同学学编程

公告