瞌睡中的葡萄虎

博客园 首页 新随笔 联系 订阅 管理
  148 随笔 :: 0 文章 :: 16 评论 :: 40万 阅读

11 2014 档案

FileSystem实例化过程
摘要：HDFS案例代码Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration); ... 阅读全文
posted @ 2014-11-29 18:09 瞌睡中的葡萄虎 阅读(4316) 评论(0) 推荐(0) 编辑

MapReduce从输入文件到Mapper处理之间的过程
摘要：1、MapReduce代码入口FileInputFormat.setInputPaths(job, new Path(input)); //设置MapReduce输入格式job.waitForCompletion(true);2、InputFormat分析public abstract class ... 阅读全文
posted @ 2014-11-28 23:34 瞌睡中的葡萄虎 阅读(743) 评论(0) 推荐(0) 编辑

Hive参数层面常用优化
摘要：1、hive数据仓库权限问题:set hive.warehouse.subdir.inherit.perms=true;2、HiveServer2的内存连接的个数越多压力越大，可以加大内存；可以通过-Xmx设置，在脚本中设置：-Xmx=2048m 甚至 -Xmx=4g3、关闭推测式任务：默认是打开的... 阅读全文
posted @ 2014-11-26 22:03 瞌睡中的葡萄虎 阅读(1386) 评论(0) 推荐(0) 编辑

Hive静态分区表&动态分区表
摘要：静态分区表：一级分区表：CREATE TABLE order_created_partition ( orderNumber STRING , event_time STRING)PARTITIONED BY (event_month string)ROW FORMAT DELIMITED... 阅读全文
posted @ 2014-11-20 17:52 瞌睡中的葡萄虎 阅读(15868) 评论(1) 推荐(1) 编辑

Hive表数据导出
摘要：方式一: hadoop命令导出hadoop fs -get hdfs://hadoop000:8020/data/page_views2 pv2方式二:通过insert...directory导出 【spark暂不支持】导出到本地：INSERT OVERWRITE LOCAL directory... 阅读全文
posted @ 2014-11-19 16:06 瞌睡中的葡萄虎 阅读(1236) 评论(0) 推荐(0) 编辑

64位Linux编译hadoop-2.5.1
摘要：Apache Hadoop生态系统安装包下载地址：http://archive.apache.org/dist/软件安装目录：~/appjdk: jdk-7u45-linux-x64.rpmhadoop: hadoop-2.5.1-src.tar.gzmaven: apache-maven-3.0.... 阅读全文
posted @ 2014-11-08 20:45 瞌睡中的葡萄虎 阅读(1579) 评论(0) 推荐(0) 编辑

将assembly包添加到自己的maven仓库
摘要：mvn install:install-file -DgroupId=com.asiainfo -DartifactId=spark-assembly -Dversion=1.2.0 -Dpackaging=jar -Dfile=/home/spark/software/source/compile... 阅读全文
posted @ 2014-11-07 15:42 瞌睡中的葡萄虎 阅读(315) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示