随笔分类 - hadoop
摘要：对HDFS结合Zookeeper进行HA配置后无法实现自动切换，将active的namenode杀掉namenode进程后，standby的namenode并未自动切换为active，经查询，应将hdfs-site.xml中dfs.ha.fencing.methods一项配置为shell(/bin/
阅读全文
摘要：报这个问题 在网上百度了好久，很多说是这的问题 其实不是，改了之后没啥用。 看报错日志，上面说的是map怎么怎么样，不是reducer这里。 最后找到原因，map中的key要设成object类型的，这两个地方要一样。
阅读全文
摘要：原因是因为你的hadoop.tmp.dir在/tmp目录下，而linux系统的/tmp文件夹内容能够是定时清理的，所以会导致你看hadoop使用不了了，就反复的格式化namenode会导致上述问题，也有可能是datanode长期没正常启动导致；找了一下资料，有三个解决方案：解決方法一：删除 data
阅读全文
摘要：一. 分布式安装部署 1.0 下载地址 官网首页： https://zookeeper.apache.org/ 下载地址： http://mirror.bit.edu.cn/apache/zookeeper/ 1.1 集群规划 在node21、node22和ode23三个节点上部署Zookeeper
阅读全文
摘要：一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主
阅读全文
摘要：（1）hadoop2.7.3下载(前提：先安装java环境)下载地址：http://hadoop.apache.org/releases.html（注意是binary文件，source那个是源码）（2）解压tar.gz （3）配置hadoop1.修改/usr/hadoop/hadoop-2.7.3/
阅读全文
摘要：hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是一种可靠，高效，可伸缩的方式进行处理的，它有一下几方面特性： 1.高可靠性：采用冗余数据存贮方式，即使一个副本发生故障，其他副本也可以保证对外工作的正常进行。 2.高效性：作为并行分布式计算平台，hadoop采用分布式存贮和分布式处理两
阅读全文
摘要：概括：combine和partition都是函数。中间的步骤应该仅仅有shuffle！1.combinecombine分为map端和reduce端，作用是把同一个key的键值对合并在一起，能够自己定义的。combine函数把一个map函数产生的<key,value>对（多个key,value）合并成
阅读全文
摘要：转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行
阅读全文
摘要：1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程 一. MapReduce框架组成 MapReduce主要包括JobClient、JobTracker、TaskTracker、HDFS四个独立的部分。 1、JobClient 配置参数Configuratio
阅读全文
摘要：SSH（Secure Shell）是一种提供网络安全的传输协议。它保证了在网络上的数据并非明文传输，目前使用SSH登录远程终端已经是通用方式。 SSH登录时有两种验证方法： 第一种：基于密码的安全验证，它要求用户在每次登录服务器时输入密码，服务器端验证通过后即登录成功。 第二种：基于密钥的安全验证，
阅读全文
摘要：1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到window
阅读全文
摘要：根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。 方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行
阅读全文
