随笔 - 483, 文章 - 0, 评论 - 2, 阅读 - 18万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

随笔分类 -  Hadoop

摘要:#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do hive... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(836) 评论(0) 推荐(0) 编辑

摘要:机器总共16G内存,sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address ... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(4738) 评论(0) 推荐(0) 编辑

摘要:待研究,只做保存将HDFS中不同目录下面的数据合在一起,并存放在指定的目录中,示例如:sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(540) 评论(0) 推荐(0) 编辑

摘要:软件下载: http://archive.apache.org hbase对Hadoop的支持矩阵: https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:30 ggzone 阅读(152) 评论(0) 推荐(0) 编辑

摘要:yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认9182MB yarn.scheduler.minimum-allocation-mb 1500 ... 阅读全文

posted @ 2016-01-01 20:42 ggzone 阅读(295) 评论(0) 推荐(0) 编辑

摘要:eclipse->文件->export->java->JAR file选择项目,Options增加Add directory entriesfinishhadoop jar /tmp/hive-merge.jar merge.merge /user/hive/warehouse/ac... 阅读全文

posted @ 2015-12-19 18:04 ggzone 阅读(126) 评论(0) 推荐(0) 编辑

摘要:1.使用mr进行合并 2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数 3.使用appendToFile 4.使用hadoop提供的打包压缩技术 Usage: hadoop fs [generic options][-appendToFile … ][-... 阅读全文

posted @ 2015-12-19 18:01 ggzone 阅读(360) 评论(0) 推荐(0) 编辑

摘要:hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:15 ggzone 阅读(1689) 评论(0) 推荐(0) 编辑

摘要:文章出自:http://my.oschina.net/leoleong/blog/477508 本文主要从基础准备,添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下,如何动态新增节点到集群中。•基础准备在基础准备部分,主要是设置hadoo... 阅读全文

posted @ 2015-11-28 19:46 ggzone 阅读(891) 评论(0) 推荐(0) 编辑

摘要:错误1:WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ha1/input/hadoop/yarn-en... 阅读全文

posted @ 2015-11-22 18:03 ggzone 阅读(719) 评论(0) 推荐(0) 编辑

摘要:下载eclipse-jee-mars-1-macosx-cocoa-x86_64.tar 右键显示包内容,将hadoop-eclipse-plugin-2.6.0.jar拷入到刚显示的包的plugin文件夹中打开eclipse,点击菜单Eclipse–偏好设置–Hadoop Map ... 阅读全文

posted @ 2015-11-22 17:07 ggzone 阅读(374) 评论(0) 推荐(0) 编辑

摘要:详细配置:http://blog.csdn.net/ggz631047367/article/details/424263911.修改机器/etc/hostname分别为 master slave1 slave2 重启2.修改/etc/hosts,删除多余项 192.168.2.223 master... 阅读全文

posted @ 2015-11-13 20:53 ggzone 阅读(484) 评论(0) 推荐(0) 编辑

摘要:编译hadoop2.6.0的eclipse插件下载源码:git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git编译源码:cd src/contrib/eclipse-pluginant jar -Dversion=2.6.0 -... 阅读全文

posted @ 2015-01-07 18:24 ggzone 阅读(247) 评论(0) 推荐(0) 编辑

摘要:下载官方编译好的包安装老是报错:Unable to load native-hadoop library for your platform用file命令查看发现官方包里的libhadoop.so.1.0.0文件竟然是64位的。假设应该安装了jdk,教程:http://blog.csdn.net/g... 阅读全文

posted @ 2015-01-06 16:08 ggzone 阅读(165) 评论(0) 推荐(0) 编辑

摘要:下载官方编译好的包安装老是报错:Unable to load native-hadoop library for your platform用file命令查看发现官方包里的libhadoop.so.1.0.0文件竟然是64位的。假设应该安装了jdk,教程:http://blog.csdn.net/g... 阅读全文

posted @ 2015-01-06 16:08 ggzone 阅读(165) 评论(0) 推荐(0) 编辑

摘要:需要重新编译的教程:http://blog.csdn.net/ggz631047367/article/details/42460589在Ubuntu下创建hadoop用户组和用户hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户,否则后面会有拒绝读写的问题出现。当然不是也有办法... 阅读全文

posted @ 2015-01-05 18:44 ggzone 阅读(172) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示