摘要:
本文部分来源:http://www.it165.net/admin/html/201406/3239.html https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration创建 表:hbase_hive_1REATE TABLE... 阅读全文
摘要:
因为业务需要,需要将一批mysql数据导入到HBASE,现在先将数据从Mysql导出到HDFS。版本:hadoop CDH4.5,Hbase-0.946 1、实体类 YqBean 是我的实体类,请根据自己需要修改,实体类需要 implements Writable, DBWritable。 ... 阅读全文
摘要:
1、删除 mysql1sudoapt-getautoremove--purgemysql-server-5.02sudoapt-getremovemysql-server3sudoapt-getautoremovemysql-server4sudoapt-getremovemysql-common... 阅读全文
摘要:
1、安装JDK JDK:我这里安装的是jdk1.6.0_23 1.1:给文件执行的权限chmodu+x jdk-6u23-linux-x64.bin 1.2: ./jdk-6u23-linux-x64.bin ,会生成一个jdk1.6.0_23 的文件 1.3: 在/etc/... 阅读全文
摘要:
开始用linux的时候会遇到用户权限问题,比如安装软件的时候经常会提示权限不足,下面介绍给普通用户授予root权限。找到 cd /etc/sudoers可以看到用户的权限是:只有读取的权限(以下操作都是用root用户)-r--r-----. 1 root root 4029 Jul 22 19... 阅读全文
摘要:
今天需要编译一个项目的时候在装g++都装不上,[root@master hadoop]# yum install g++Loaded plugins: fastestmirror, refresh-packagekit, securityLoading mirror speeds from cach... 阅读全文
摘要:
进到8088页面后,怎么看不到mapreudce的执行状态,有哪里需要配置的解决办法:在$HADOOP_HOME/conf/mapred-site.xml 在原来的配置文件基础之上添加: mapreduce.framework.name yarn mapre... 阅读全文
摘要:
我用的是cdh4.5版本:配置文件:$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/... 阅读全文
摘要:
如果一个文件块有130M,请问有多少个mapper 130M的文件将被分成2个mapper。原因:根据FileInputFormat类有一个成员变量private static final double SPLIT_SLOP = 1.1也就是说如果文件大小在10%之内,程序并不会单独去开启一个map... 阅读全文