摘要： 一、MapReduce编程思想 学些MapRedcue主要是学习它的编程思想，在MR的编程模型中，主要思想是把对数据的运算流程分成map和reduce两个阶段： Map阶段：读取原始数据，形成key-value数据（map方法）。即，负责数据的过滤分发。 Reduce阶段：把map阶段的key-va 阅读全文

摘要： 经常会有这样的需求： 在MR程序中，map，reduce等方法中需要传入一些外部参数，比如我们要编写MR程序访问页面访问的Top n，其中的n就是我们需要传入的外部参数。但是，map和reduce等方法都是由MapTask和RedcueTask调用的，我们编程的时候是从父类继承方法，然后overri 阅读全文

摘要： mapreduce中的Helloworld，动手开始吧 阅读全文

摘要： Docker搭建hadoop集群，通过JAVA API上传文件时出现异常Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException：File /tmp/hadoop-yarn/staging/root/.staging/job_1556205714449_0006/job.split could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and 3 node(s) are excluded in this operation 阅读全文

摘要： 菜鸟查了很多资料才找到解决办法，Hats off to the shares！ https://blog.csdn.net/lvshaorong/article/details/69950694 问题需求： 先说我的需求： 简单说：Centos上启动了几个容器，我要通过与Centos在同一局域网下的 阅读全文

摘要： Docker容器通过独立IP暴露给局域网，docker搭建hadoop集群，通过宿主机局域网PC访问集群内部 阅读全文

摘要： 在介绍jvm的类加载机制之前补充一些知识。 java虚拟机是一个通用的、机器无关的执行平台，是为了实现程序的”无关性“而设计的，这里的无关性包括平台无关性 + 语言无关性。各种不同平台的虚拟机都使用统一的程序存储格式--字节码，这是构成无关性的基石。Java虚拟机不与任何语言绑定（包括java语言） 阅读全文

摘要： 先说概念： 一、相关概念 序列化：把内存中的java对象转换成与平台无关的二进制字节序列，以便永久保存在磁盘上或通过网络进行传输。序列化是Java提供的一种将对象写入到输出流、并在之后将其读回的机制。 Java提供的对对象进行读写的流对象（即承载对象的媒介）为ObjectOutputStream 和 阅读全文

摘要： 先说概念： Java API中，可以从其中读入一个字节序列的对象叫做输入流，可以向其中写入一个字节序列的对象叫做输出流。这些字节序列的来源地 和 目的地 可以文件、网络连接甚至内存块。抽象类InputStrean和OutputStream构成了I/O类层次结构的基础。 在java IO中总有好多的类 阅读全文

摘要： hadoop集群支持动态扩展，不需要停止原有集群节点就可以实现新节点的加入。 我是使用docker搭建的进群环境，制作了镜像文件，这里以我的工作基础为例子介绍集群中添加集群的方法 一、制作一个新节点 1、为新节点搭建hadoop环境 如果是一般情况下，将一个新物理机添加到集群中，参照集群中其他节点， 阅读全文