摘要: JavaOutOfMemoryError一般常遇到的分为两类,分别提示: "Java heap space" 和 "PermGen space",前面的是指java的内存不够,后面异常是指加载class的内存不够,分别对应堆内存和非堆内存(JVM自用内存)。解决这两种异常分别采用不同的方式:"Jav... 阅读全文
posted @ 2016-01-14 11:03 liuming_1992 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 当运行mapreduce的时候,有时候会出现异常信息,提示物理内存或者虚拟内存超出限制,默认情况下:虚拟内存是物理内存的2.1倍。异常信息类似如下:Container [pid=13026,containerID=container_1449820132317_0013_01_000012] is ... 阅读全文
posted @ 2015-12-11 21:15 liuming_1992 阅读(2274) 评论(0) 推荐(0) 编辑
摘要: 在运行mapreduce的时候,出现Error: GC overhead limit exceeded,查看log日志,发现异常信息为2015-12-11 11:48:44,716 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error runn... 阅读全文
posted @ 2015-12-11 20:41 liuming_1992 阅读(8764) 评论(0) 推荐(3) 编辑
摘要: 版本:HBase-0.98.6-cdh5.3.6HBase参数调优1. zookeeper.session.timeout: 默认90000(毫秒), 控制连接zk的timeout时间。由于hbase的集群是由zk管理的,所以当一个regionserver挂掉的时候,master是从zk集群上得到的... 阅读全文
posted @ 2015-11-04 17:26 liuming_1992 阅读(1857) 评论(0) 推荐(0) 编辑
摘要: hive中参数分为三类,第一种system环境变量信息,是系统环境变量信息;第二种是env环境变量信息,是当前用户环境变量信息;第三种是hive参数变量信息,是由hive-site.xml文件定义的以及当前hive会话定义的环境变量信息。其中第三种hive参数变量信息中又由hadoop hdfs... 阅读全文
posted @ 2015-11-02 17:33 liuming_1992 阅读(7732) 评论(0) 推荐(0) 编辑
摘要: 在Flume NG+hadoop的开发中,运行mapreduce的时候出现异常Error: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-235416765-192.168.30.244-14302219675... 阅读全文
posted @ 2015-10-21 11:05 liuming_1992 阅读(3855) 评论(0) 推荐(0) 编辑
摘要: 下载jdk的linux下版本,下载页面http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,选择jdk-7u79-linux-x64.tar.gz进行下载。这里采用tar.gz的原因是因... 阅读全文
posted @ 2015-10-15 16:23 liuming_1992 阅读(389) 评论(0) 推荐(0) 编辑
摘要: redhat系统:linux中创建用户命令为:useradd 用户名, eg: useradd test指定密码:passwd test但是有时候我们需要使用test运行执行一些root用户才有权限执行的命令,此时有两种方式:第一种,方式使用test用户执行,采用root用户执行。第二种,使用sud... 阅读全文
posted @ 2015-10-15 15:42 liuming_1992 阅读(26771) 评论(1) 推荐(0) 编辑
摘要: 在安装hadoop之前需要进行ssh免密码登录,ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对,下面我以Redhat为例。我这里只采用一台机器A(10.2.3.10),然后希望ssh登录到自身免密码。1、机器A生产密钥,执行命令为ssh-keygen -... 阅读全文
posted @ 2015-10-14 19:10 liuming_1992 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 一般我们采用win开发+linux hadoop集群的方式进行开发,使用插件:hadoop-***-eclipse-plugin。 运行程序的时候,我们一般采用run as application或者选择run as hadoop。按照这个字面理解,我们可以认为第一种是运行在本地,第二种是运行在ha 阅读全文
posted @ 2015-09-28 11:06 liuming_1992 阅读(442) 评论(0) 推荐(1) 编辑