Hadoop - 随笔分类 - 巫峡

hadoop2.4 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

摘要：在Ubuntu上安装完hadoop2.4以后，使用以下命令：hadoop fs -ls14/09/09 11:33:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... usi... 阅读全文

posted @ 2014-09-09 13:41 巫峡阅读(25624) 评论(3) 推荐(0) 编辑

[转] 大数据实时数据分析引擎介绍---Dremel、Tenzing和Imapla

摘要：对于数据分析师来说，SQL是主要的语言。 Hive为Hadoop提供了支持SQL运行的能力，可是目前Hive运行速度达不到实时要求。这是因为Hive将SQL翻译成一个或多个MapReduce任务，而MapReduce原本是大数据批处理计算框架，并不适应实时数据分析的速度要求。现在有两种思路去提高SQL在大数据平台上的执行速度：1.用一种更快的SQL执行引擎取代MapReduce。2.优化MapReduce，使其更适合OLAP查询。谷歌在这两种思路上都做出了先驱性工作。2010年，谷歌发表了Dremel论文。Dremel是取代MapReduce的SQL执行引擎，其速度要快于MapReduce10 阅读全文

posted @ 2013-02-28 13:24 巫峡阅读(1892) 评论(0) 推荐(0) 编辑

Hadoop HDFS 与Hbase升级笔记

摘要：升级hadoop与hbase 阅读全文

posted @ 2012-10-12 12:44 巫峡阅读(750) 评论(0) 推荐(0) 编辑

Hadoop本地库介绍

摘要：util.NativeCodeLoader: Loaded the native-hadoop library 阅读全文

posted @ 2012-05-28 14:34 巫峡阅读(442) 评论(0) 推荐(1) 编辑

hbase 简介

摘要：hbase介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache top-level project and Hbase becomes subproject2008.10 Hbase 0.18,0.19 released hbase是bigtable的开源山寨版本。是建立的阅读全文

posted @ 2012-05-23 16:10 巫峡阅读(262) 评论(0) 推荐(0) 编辑

MapReduce:详解Shuffle过程

摘要：Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做Mahout的输出预处理工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽最大的可能试着把Shuffle说清楚，让每一位想了解它原理的朋友都能有所收获。如果你对这篇文章有任何疑问或建议请留言到后面，谢谢！ Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里. 阅读全文

posted @ 2012-05-18 12:30 巫峡阅读(229) 评论(0) 推荐(0) 编辑

巫峡专栏

导航