07 2015 档案
摘要：一、"=="操作符 ==操作符专门用来比较两个变量的值是否相等，也就是用于比较变量所对应的内存中所存储的数值是否相同，要比较两个基本类型的数据或两个引用变量是否相等，只能用==操作符。 如果一个变量指向的数据是对象类型的，那么，这时候涉及了两块内存，对象本身占用一块内存（堆内存） ，变量也占用一...
阅读全文
摘要：一、日志数据分析1.背景1.1 ***论坛日志，数据分为两部分组成，原来是一个大文件，是56GB；以后每天生成一个文件，大约是150-200MB之间；每行记录有5部分组成：1.访问ip；2.访问时间；3.访问资源；4.访问状态；5.本次流量1.2 日志格式是apache common日志格式；1.3...
阅读全文
摘要：1、检查网络状况Dos命令：ping ip地址,同时，在Linux下通过命令：ifconfig可以查看ip信息2、修改虚拟机的ip地址 打开linux网络连接，在桌面右上角，然后编辑ip地址，修改ip地址后，重启网络服务：service network restart,如果网络重启失败，可以在虚拟机...
阅读全文
摘要：一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，本文将通过一个实际的MapReduce二次排序例子讲述二次排序的实现和其MapR...
阅读全文
摘要：一、MapReduce执行过程 MapReduce运行时，首先通过Map读取HDFS中的数据，然后经过拆分，将每个文件中的每行数据分拆成键值对，最后输出作为Reduce的输入，大体执行流程如下图所示：整个流程图具体来说：每个Mapper任务是一个java进程，它会读取HDFS中的文件，解析成很多的...
阅读全文
摘要：转自：http://www.aboutyun.com/thread-7316-1-1.html一、关系运算：1. 等值比较: =语法：A=B操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE举例：hive>select 1 from lxw_dual where...
阅读全文
摘要：转自：http://www.aboutyun.com/thread-7327-1-1.html1、Hive不支持等值连接 SQL中对两表内联可以写成：select * from dual a,dual b where a.key = b.key;Hive中应为：select * from dua...
阅读全文
摘要：1.首先下载Hadoop对应版本的插件，以Hadoop 1.0版本对应的插件Hadoop-eclipse-plugin1.0.3.jar为例2、将下载的插件放置到Ecplise安装目录的plugins目录下3、启动Ecplise，点击Window->Show View->Other，点击MapReu...
阅读全文
摘要：转自：http://developer.51cto.com/art/201403/430986.htm讲的特别浅显易懂，特别感谢博主：啊哈磊高快省的排序算法有没有既不浪费空间又可以快一点的排序算法呢？那就是“快速排序”啦！光听这个名字是不是就觉得很高端呢。假设我们现在对“6 1 2 7 9 3 4 ...
阅读全文
摘要：转自：http://blog.csdn.net/morewindows/article/details/6684558快速排序是C.R.A.Hoare于1962年提出的一种划分交换排序。它采用了一种分治的策略，通常称其为分治法(Divide-and-ConquerMethod)。该方法的基本思想是：...
阅读全文
摘要：转自：http://blog.csdn.net/codeforme/article/details/5539454 外键约束对子表的含义: 如果在父表中找不到候选键,则不允许在子表上进行insert/update 外键约束对父表的含义: 在父表上进行update/delete以更新或删除在子表中有一
阅读全文
