摘要:
定义 序列化 就是把内存中的对象,转换成二进制数据,以便于网络传输 反序列化 就是将收到的二进制的数据转换成内存中的对象。 java序列化比较笨重,hadoop自己开发了一套序列化机制Writable,比较轻便,好传输 在java中一个对象被序列化后,会附带很多额外的信息,不便于在网络中高效传输 常 阅读全文
摘要:
题目:使用MR程序实现统计每一个用户消耗的总流量(=上行流量+下行流量) Mapper package com.sxuek.practice; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; im 阅读全文
摘要:
MRApplicationMaster: 监控中程序运行状态、以及向计算机/RM申请资源的进程 MapTask: 负责运行map阶段的计算逻辑 ReduceTask: 负责运行reduce阶段的计算逻辑 阅读全文
摘要:
1. 编程 pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema- 阅读全文