上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 31 下一页
摘要: 转自: http://www.aboutyun.com/thread-7678-1-1.html。。问题导读:1、什么是yarn?2、Yarn 和MapReduce相比,它有什么特殊作用 ?背景Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、... 阅读全文
posted @ 2015-11-06 17:14 五三中 阅读(4373) 评论(1) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/yczws1/article/details/21899007纯干货:通过WourdCount程序示例:详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。 Shuffle过程是MapReduc... 阅读全文
posted @ 2015-11-06 16:41 五三中 阅读(1435) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/yczws1/article/details/21794873.我们都安装完Hadoop之后,按照一些案例先要跑一个WourdCount程序,来测试Hadoop安装是否成功。在终端中用命令创建一个文件夹,简单的向两个文件中各写入一段话,然后运行Hado... 阅读全文
posted @ 2015-11-06 16:32 五三中 阅读(847) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/letthinking/article/details/6764996 .数组的排序方法有很多,效率也各不相同,下面简单介绍一下几种常见的排序算法。 1.选择排序法:将要排序的数组分成两部分,一部分是从大到小已经排好序的,一部分是无序的,从无序的部... 阅读全文
posted @ 2015-11-06 11:17 五三中 阅读(394) 评论(0) 推荐(0) 编辑
摘要: HBase 官方文档 0.97http://abloz.com/hbase/book.htmlHBase基本操作封装类(以课堂爬虫为例)package cn.crxy.spider.utils;import java.io.IOException;import java.util.ArrayList... 阅读全文
posted @ 2015-11-05 23:13 五三中 阅读(1437) 评论(0) 推荐(0) 编辑
摘要: 转自 http://www.tuicool.com/articles/qyUzQj最近在研究Impala,还是先回顾下Hive的SQL执行流程吧。Hive有三种用户接口:cli (Command line interface)bin/hive或bin/hive –service cli命令行方式(默... 阅读全文
posted @ 2015-11-04 18:39 五三中 阅读(7418) 评论(0) 推荐(0) 编辑
摘要: 文章转自:http://tech.meituan.com/hive-sql-to-mapreduce.htmlHive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive... 阅读全文
posted @ 2015-11-04 18:17 五三中 阅读(677) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2161929.htmlhttp://www.geminikwok.com/2011/04/02/hadoop-job解决大数据量关联时数据倾æ... 阅读全文
posted @ 2015-11-04 16:42 五三中 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 转自:http://lxw1234.com/archives/2015/09/484.htm关键字:Hive 复制表Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM ... 阅读全文
posted @ 2015-11-04 00:36 五三中 阅读(5137) 评论(0) 推荐(1) 编辑
该文被密码保护。 阅读全文
posted @ 2015-11-01 20:34 五三中 阅读(1) 评论(0) 推荐(0) 编辑
上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 31 下一页