2022年7月25日
hadoop中的序列化机制与反序列化机制
摘要： 定义 序列化 就是把内存中的对象，转换成二进制数据，以便于网络传输 反序列化 就是将收到的二进制的数据转换成内存中的对象。 java序列化比较笨重，hadoop自己开发了一套序列化机制Writable，比较轻便，好传输 在java中一个对象被序列化后，会附带很多额外的信息，不便于在网络中高效传输 常 阅读全文
posted @ 2022-07-25 20:00 jsqup 阅读(118) 评论(0) 推荐(0) 编辑
mr练习题
摘要： 题目：使用MR程序实现统计每一个用户消耗的总流量（=上行流量+下行流量） Mapper package com.sxuek.practice; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; im 阅读全文
posted @ 2022-07-25 12:55 jsqup 阅读(26) 评论(0) 推荐(0) 编辑
mr程序启动之后存在的进程
摘要： MRApplicationMaster: 监控中程序运行状态、以及向计算机/RM申请资源的进程 MapTask： 负责运行map阶段的计算逻辑 ReduceTask: 负责运行reduce阶段的计算逻辑 阅读全文
posted @ 2022-07-25 11:29 jsqup 阅读(30) 评论(0) 推荐(0) 编辑
单词计数案例
摘要： 1. 编程 pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema- 阅读全文
posted @ 2022-07-25 11:14 jsqup 阅读(25) 评论(0) 推荐(0) 编辑