摘要: 同一条语句之中,如果同时有group by和distinct语句,是先group by后distinct,还是先distinct后group by呢? 先说结论:先group by后distinct。 以下是在Hive中的验证: 1)建表:其中xxx替换为本地目录名 2)从tmp_tb文件中导入数据 阅读全文
posted @ 2016-10-27 15:26 大葱拌豆腐 阅读(3458) 评论(1) 推荐(0) 编辑
摘要: 当选择两个字段时,例如:"select XX1, XX2 from tb; ",那么将distinct放在前一个字段XX1之前和放在后一个字段XX2之前,结果有什么不同呢? 先说结论:如果将distinct放在前一个字段之前,则会返回对两个字段的组合去重后的结果;而如果将distinct放在后一个字 阅读全文
posted @ 2016-10-27 15:22 大葱拌豆腐 阅读(2945) 评论(0) 推荐(1) 编辑
摘要: 转载:http://www.infoq.com/cn/articles/exploration-of-distributed-mysql-cluster-scheme?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=articles_link 阅读全文
posted @ 2016-10-14 11:15 大葱拌豆腐 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 转载:http://www.infoq.com/cn/articles/solution-of-distributed-system-transaction-consistency 开篇 在OLTP系统领域,我们在很多业务场景下都会面临事务一致性方面的需求,例如最经典的Bob给Smith转账的案例。 阅读全文
posted @ 2016-10-14 10:54 大葱拌豆腐 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 前期准备: JDK环境 版本:jdk-8u101-linux-x64.rpm 下载地址:oracle官网 mysql rpm包:http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm- 阅读全文
posted @ 2016-10-13 10:46 大葱拌豆腐 阅读(4423) 评论(1) 推荐(1) 编辑
摘要: 本文拟定是在一个局域网内(比如一个Hadoop集群)设定一台NTP服务器作为整个网络的标准时间参考,使用网络(集群)内的所有机器保持时间一致!以下是详细的操作步骤: 1. 修改选定的服务器的本地时间 #date -s '2014-11-21 12:48:30' +'%F %T' #2014-11-2 阅读全文
posted @ 2016-10-12 14:49 大葱拌豆腐 阅读(1518) 评论(0) 推荐(0) 编辑
摘要: 1.NTP时钟同步方式说明 NTP在linux下有两种时钟同步方式,分别为直接同步和平滑同步: 1)直接同步 使用ntpdate命令进行同步,直接进行时间变更。如果服务器上存在一个12点运行的任务,当前服务器时间是13点,但标准时间时11点,使用此命令可能会造成任务重复执行。因此使用ntpdate同 阅读全文
posted @ 2016-10-12 14:40 大葱拌豆腐 阅读(875) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.sina.com.cn/s/blog_62b832910102w5mx.html Avinash Kaushik将点击流数据的获取方式分为4种:log files、web beacons、JavaScript tags和packet sniffers,其中包嗅探器(p 阅读全文
posted @ 2016-08-28 19:24 大葱拌豆腐 阅读(1225) 评论(0) 推荐(0) 编辑
摘要: 不知道怎么回事,今天在启动集群时通过jps查看进程时始终有一个standby namenode进程无法启动。查看日志时报的是不能加载fsimage文件。日志截图如下: 日志报的很明显了是不能加载元数据信息,解决方案: 解决办法: 1、手动copy namenode(active)所在的那台服务器上X 阅读全文
posted @ 2016-08-28 15:38 大葱拌豆腐 阅读(2839) 评论(0) 推荐(0) 编辑
摘要: 第一部分、mapreduce模式与hadoop框架深入浅出 架构扼要 想读懂此文,读者必须先要明确以下几点,以作为阅读后续内容的基础知识储备: 所以,你现在,知道了什么是mapreduce,什么是hadoop,以及这两者之间最简单的联系,而本文的主旨即是,一句话概括:在hadoop的框架上采取map 阅读全文
posted @ 2016-08-27 15:06 大葱拌豆腐 阅读(1739) 评论(0) 推荐(0) 编辑