摘要:
[root@bigdatacloud zookeeper-3.4.6]# cat zookeeper.out2016-06-19 13:06:57,359 [myid:] - INFO [main:QuorumPeerConfig@103] - Reading co... 阅读全文
摘要:
官网使用了三张图来描述shuffle 过程 ,Map 和 reduce 是我们自己写的程序,所以没有写进这三个图里面,今天主要围绕这三张图我们做一个简单的说明和复习 :第一张图,从整体上把握流程上图提供的是整个流程的一部分,全部流程应该是有 4 个 Map ,3 ... 阅读全文
摘要:
DB2 不常用SQL语句集合 1. reanme table dwmd1.Hope_Fact to Hope_Fact_201001012. db2 catalog tcpip node DB2PODS remote hostname server 50020 ... 阅读全文
摘要:
大数据世界要熟悉的5门语言课程Python OpenStackJava HadoopScala SparkShell LinuxSQL DB JS=================华丽分割线============... 阅读全文
摘要:
Hive ive优化 要点:优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜。理解hadoop的核心能力,是hive优化的根本。 长期观察hadoop处理数据的过程,有几个显著的特征: 1.不怕数据多,就怕数据倾斜。 2.对jobs数比较... 阅读全文
摘要:
Hive2 beeline–Beeline 要与HiveServer2配合使用,支持嵌入模式和远程模式–启动HiverServer2 ,./bin/hiveserver2–启动Beeline–wangyue@wangyue-um:~/opt/hive/hive-0.1... 阅读全文
摘要:
原文 : http://www.phpddt.com/db/join-on-where.htmlSQL语句中join连表时on和where后都可以跟条件,那么对查询结果集,执行顺序,效率是如何呢?通过查询资料发现:区别:on是对中间结果进行筛选,where是对最终结... 阅读全文
摘要:
HiveServer2的高可用-HA配置 :http://lxw1234.com/archives/2016/05/675.htm作者在配置环境中也遇到问题,更详细内容请点击上方链接 ,thanksset hive-site :hive.server2.suppor... 阅读全文
摘要:
原文地址 : http://www.hengtianyun.com/download-show-id-583.html提到虚拟化, Docker 最近很是火热!不妨拿来在本地做虚拟化,搭建Hadoop的伪分布式集群环境。虽然有点大材小用,但是学习学习,练练手也是极好... 阅读全文
摘要:
package com.laoxiao.mr.tf;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileReader;i... 阅读全文