随笔分类 - hadoop3.x学习
在学习hadoop框架时,前期有许多繁琐的且必要的搭建集群知识与步骤,在学习的过程中可以记录下来,供以后复习,且可以规范错误,使以后使用时间大大减少
摘要:## MapReduce优化方法 或如何减少map任务的启动 或如何减少磁盘io * **数据输入** 1. 小文件合并。使用抽象类CombineFileInputFormat作为输入处理。 * **map阶段** 1. 减少spill和merge次数。通过调整io.sort.mb及sort.spi
阅读全文
摘要:# Job提交源码解读 ## Job整体流程 流程:在Driver类中,最终Job对象会调用waitForCompletion()完成提交。深入源码其实是调用commit()方法完成提交。 commit()方法具体做了哪些事呢? * 首先调用connect()方法建立连接。 * 最后通过JobSub
阅读全文
摘要:# WordCount案例实操 ### java代码 **WordCountMapper类** ```java package com.guodaxia.mapreduce.wordcount; import org.apache.hadoop.io.IntWritable; import org.
阅读全文
摘要:**什么时候需要使用序列化?** *需要在不同服务器传递内存数据时,用序列化。* **序列化后的所有属性需要再反序列化,那么有先后顺序反序列化吗?** *有的,比如序列化的属性有a b c* *则反序列化的属性必须是 ca b c* **数据切片一般为数据块的倍数,为什么?** *一般一个数据切片对
阅读全文
摘要:Hadoop启动后jps没有Datenode的问题 问题描述 最近在学习搭建大数据集群的过程中碰到了一个问题,就是web界面起不来,在start-all.sh启动集群后,输入jps,发现缺少DataNode节点,上网查询了一下,可能是由于多次输入hadoop namenode -format格式化节
阅读全文
摘要:Linux下安装jdk的步骤与bug 步骤: 先在 /opt/ 下创建一个software文件,用于存放压缩包 进入opt下:cd /opt 创建software文件:sudo vim software 在software/下用xftp软件进行jar包复制 进入software目录下: cd sof
阅读全文
摘要:VMware17 虚拟机英文设置为中文不需要重新安装的方法 问题:因为我有一个多月没用到了虚拟机,最近需要学习刀数据库相关知识,需要重新用到Linux下的Mysql,当我打开VMware17虚拟机时,突然系统界面变成了英文,英语渣渣的我,很需要中文界面支持。 方法一:直接在桌面右击VMware图标,
阅读全文