摘要：
用shell & Python 封装 Hive SQL 实现类Store Procedure 功能Shell 资料 http://c.biancheng.net/cpp/view/7002.html#!/bin/bashhql = “ ”hive -e ... 阅读全文
摘要：
更多详细Hive Metaserver thrift 资料 请 参考 http://www.aboutyun.com/thread-10937-1-1.html 阅读全文
摘要：
一、调优的目的 充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述 从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper... 阅读全文
摘要：
数据库设计指南 如果把企业的数据比做生命所必需的血液，那么数据库的设计就是应用中最重要的一部分。有关数据库设计的材料汗牛充栋，大学学位课程里也有专门的讲述。不过，就如我们反复强调的那样，再好的老师也比不过经验的教诲(体验决定深度、知识决定广度)。所以我们最近找了... 阅读全文
摘要：
领导力21法则第一法则：盖子法则领导能力决定一个人办事的成效水平。（1） 你想爬得越高，就越需要领导力；你想发挥更大的影响，就需要更大的影响力。（2） 领导能力常常是一个人及团体办事成效的盖子。如果领导能力强，锅盖就高，反之， 团体的发展潜力便会受到限制。（3） 个人... 阅读全文
摘要：
Exception in thread "main" java.io.IOException: Error generating shuffle secret key at org.apache.hadoop.mapreduce.JobSubmitter... 阅读全文
摘要：
原文链接 http://www.oschina.net/p/facebook-prestoPresto是Facebook最新研发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是 Hive 的 10 倍以上。PrestoDB 是 Face... 阅读全文
摘要：
大数据架构简单流程图nginx ---->flume ----->kafka ----> storm -----> hdfs(mysql)------>hbse(hive)---->spark(MR)航空电商大规模实时日志分析1）.数据采集负责从各节点上实时采集数据，... 阅读全文
摘要：
经常用到的cmd 是 hbase shell，但是局限于cmd 能够实现的功能，从HDFS批量导入大额数据Hbase 时 ，需要更强大的工具 ，而且导入的时候可能会有ETL 操作可以参考示例 http://www.linuxidc.com/Linux/2014-03/... 阅读全文
摘要：
service keepalived start service tengine startflume-ng agent --conf conf --conf-file /usr/apache-flume-1.6.0-bin/conf/getnginxlog --n... 阅读全文