随笔分类 - Hadoop
摘要：Spark程序在yarn的集群运行，出现 Current usage: 105.9 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing Container. 错误。 我的运行环境是虚拟机，每个虚
阅读全文
摘要：输出文件不能实现存在，比如说/WordCount这样是不行的 虽然他是第一级文件夹 但是已存在了，不可用 原来提示我，日志冲突，我美观，我以为是不是hadoop native造成的，后来吧多余的mahout的jar删了，里面也有slf4j，然后竟然运行成功了额，虽然也不是native
阅读全文
摘要：Master作为客户端，要实现无密码公钥认证，连接到服务器Salve上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Salve上。当Master通过SSH链接到Salve上时，Salve会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Maste
阅读全文
摘要：我的hadoop集群部署在自己电脑虚拟机上，有时候我是挂起虚拟机，第二天再打开发现有些线程就挂了，比如namenode，好奇怪，当时看了一些帖子说是和pid存储有关，找到log看到找不到pid。因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下
阅读全文
摘要：这个路径下配置了ip和主机名，不过是大小写，ping不同，不论ping大小写还是全部小写都不行，我看地址栏是小写所以想着把hosts里CentOSMaster改成centosmaster，然后还是不行，备份原来的文件，然后删除其他主食就ok了，中间用空格，同一半角。 不用重启。然后就可以
阅读全文
摘要：看第一个错误发现说已存在，这不可能啊，百度替换了hadoop包，去zkCil.sh（后面不能家start，否则进不去zookeeper）下，"ls \"发现并没有hbase，说明，并不是zookeeper过期，期三个错误是亚马逊弹性云计算错误，fuck，这和亚马逊什么关系，我是自己的电脑，然后百度第
阅读全文
摘要：查看状态报错，报错，百度硕士nc问题，让看.out文件，但是这哥文件是空的，那就看log 查看信息发现时myid0，我记得是1啊，所以改了吧，fuck，到现在才发现。发现其他节点的myid也是0，咋回事，以前没问题的，一一改吧
阅读全文
摘要：缺少Jar包：Hadoop-mapreduce-client-common-2.2.0.jar
阅读全文
摘要：注意看是file不存在并不是hdfs，好奇怪，突然明白应该是路径不对，必须加上hdfs://hostname:port/file。 我为什么饭这样的错误是因为前一阵谢了HDFS的曹组，谢了全局FileSystem，那么下面就不比要hdfs://hostname:port/了。
阅读全文
摘要：一、问题来源 二、解决方案 尝试update Project，不行；去找本地仓库的相关路径“”jdk/toos...“”eclipse显示这个路径，但是仓库根本没用，我就启动蓝灯，强制更新，仍然不行，然后百度报错信息。 原因是缺少tools.jar的依赖，tools.jar在jdk的安装目录中提供了
阅读全文
摘要：一、基础知识 原理 http://www.cnblogs.com/edisonchou/p/4285817.html，这个谢了一些rpc与hadoop的例子。 用到了java的动态代理，服务端实现一个接口，客户端得到这个接口的实现类，客户端通过自定义的versionID来标志一对服务端和客户端。 二
阅读全文
摘要：一、linux rm是删除，不是del 二、常用操作 上传下载除了输出输出流意外，然后IOUtils.copyBytes；就是用fs自带的方法。
阅读全文
摘要：服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave2 StandByNameNode NameNode Yes Yes DataNode Yes Ye
阅读全文
摘要：笔者的集群是 HA 模式的( HDFS 和 ResourceManager HA)。在 ” Hadoop-2.5.0-cdh5.3.2 HA 安装＂ 中详细讲解了关于 HA 模式的搭建，这里就不再赘述。但网上直接将关于 HA 模式下的历史服务器的配置资料却很少。 笔者在思考，如果配置在 mapred
阅读全文
摘要：一、错误起因 Active NameNode日志出现异常IPC's epoch [X] is less than the last promised epoch [X+1]，出现短期的双Active 我配置的ha自动切换，但是发现STandByNameNode是active，我强制手动切换了三次，S
阅读全文
摘要：我特意选择了稳定版...... 奇数意思是说奇数和偶数对故障的容忍度是一致的....所以建议配置奇数个，并不是必须奇数... 一、master节点上安装配置 1、下载并解压ZooKeeper-3.4.6.tar.gz 这里路径为 /home/fesh/zookeeper-3.4.6 2、设置the
阅读全文
摘要：在hadoop2中查看网页中的/tmp目录出现下面的错误： 修改权限就好了。。。。我原来一直纠结dr.who是什么鬼...不管他修改hdfs的权限就好了。
阅读全文
摘要：以前hadoop也有这个问题，没注意，用spark也提示，解决一下。 首先找到对应自己hadoop版本的的lib包，编译好后，名字类似hadoop-native-64-2.4.1.tar ，放到lib下的覆盖native。 设置环境变量并生效。 还是不行。。
阅读全文
摘要：原来是被变成Throwable抛出来了！而Exception是Throwable的子类，所以无法捕捉到，只有捕捉Throwable的时候，才可以将错误信息打印！
阅读全文
