市丸银

2020年9月3日

摘要： 1、区分数据块：物理数据切片：逻辑 2、决定机制 1、一个Job的Map阶段并行度(数量)由客户端提交Job时的切片数量决定2、一个切片对应一个MapTask3、默认情况下，切片大小==BlockSize(128M)4、切片时不考虑数据集整体性，而是针对每个文件单独切片总结：MapTask的数阅读全文

posted @ 2020-09-03 17:09 市丸银阅读(327) 评论(0) 推荐(0) 编辑

Java 工作

摘要：因工作需要由python工程师->java工程师也算圆了大学时的梦想一、Bean // 依赖 mybatis mybatis-plus @TableName("tp_abcdr") @Data @NoArgsConstructor @JsonInclude(JsonInclude.Includ 阅读全文

posted @ 2020-09-03 15:53 市丸银阅读(142) 评论(0) 推荐(0) 编辑

Hadoop 流量案例

摘要：一、需求统计每一个手机号耗费的总上行流量、下行流量、总流量二、分析 1、输入内容 1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435 阅读全文

posted @ 2020-09-03 14:44 市丸银阅读(192) 评论(0) 推荐(0) 编辑

Hadoop 序列化

摘要：一、优点 1、紧凑：节省内存 2、快速：读取速度快 3、可扩展：随着协议升级 4、互操作：支持多语言交互二、Bean对象实现序列化 1、步骤 a、必须实现Writable接口 b、必须有空参构造，反序列化时，反射调用 c、重写序列化方法 d、重写反序列化方法 e、序列化方法和反序列化方法参数顺序要阅读全文

posted @ 2020-09-03 08:00 市丸银阅读(209) 评论(0) 推荐(0) 编辑

Java 和 Hadoop的数据类型

摘要： Java类型 Hadoop Writable类型 boolean BooleanWritable byte ByteWritable int IntWritable float FloatWritable long LongWritable double DoubleWritable String 阅读全文

posted @ 2020-09-03 07:08 市丸银阅读(292) 评论(0) 推荐(0) 编辑

2020年9月2日

MapReduce WordCount实操

摘要：一、前提 1、创建Maven项目 2、导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> < 阅读全文

posted @ 2020-09-02 22:21 市丸银阅读(208) 评论(0) 推荐(0) 编辑

Intellij 配置运行参数

摘要： 1、右击鼠标--选中Edit '类.main()' 2、添加参数--apply--ok 阅读全文

posted @ 2020-09-02 22:20 市丸银阅读(446) 评论(0) 推荐(0) 编辑

MapReduce 基础

摘要：一、概述 1、概念是一个分布式运算程序的编程框架 2、核心功能业务逻辑代码和自带默认组件二、MapReduce的优缺点 1、优点易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理 2、缺点不擅长实时计算、不擅长流式计算、不擅长依赖关系的计算三、核心思想 1、MapRedu 阅读全文

posted @ 2020-09-02 17:24 市丸银阅读(124) 评论(0) 推荐(0) 编辑

HDFS 快照(了解)

摘要：含义：快照不会复制所有文件，而是记录文件变化 # 1.开启指定目录的快照功能 hdfs dfsadmin -allowSnapshot 路径 # 2.对目录创建快照 hdfs dfs -createSnapshot 路径 # 3.指定名称创建快照 hdfs dfs -createSnapshot 路阅读全文

posted @ 2020-09-02 16:30 市丸银阅读(342) 评论(0) 推荐(0) 编辑

HDFS 回收站(了解)

摘要：注意：HDFS很少删除数据 1、打开文件 vim etc/hadoop/core-site.xml 2、编辑文件 # 1 代表1分钟 <property> <name>fs.trash.interval</name> <value>1</value> </property> # 修改回收站访问用户阅读全文

posted @ 2020-09-02 13:26 市丸银阅读(338) 评论(0) 推荐(0) 编辑

知行合一

公告