11 2013 档案
摘要:计算两个时间相隔多少时间段的类,可以直接拿来用哦!package com.wang.util;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;/**** 项目名称:network01 * 类名称:CalTimeUti...
阅读全文
摘要:1、首先说一下在windows中安装maven。非常简单。。。到http://maven.apache.org/download.html中下载maven,截止笔者发文时,maven最新版本为maven 3.0.4。我下载的即为此版本。具体地址为http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.zi...
阅读全文
摘要:一、Hbase配置这个是我从网上找的一个版本,网上说配置成功。先决条件:(1)hadoop的版本与hbase的版本要对应,主要是hadoop目录下的hadoop-core-1.0.4.jar的版本与hbase的lib目录下的hadoop-core-1.0.4.jar一致。做法:将hadoop中lib下的hadoop-core-1.0.2.jar(commons-configuration-1.6....
阅读全文
摘要:一、什么情况下使用Hbase 例子: 这里Order By无时不刻的处理,我们要看到刚才的足迹,不能使用缓存技巧。 根据时间戳来查询,显然很快,应为Hbase就是以时间戳来存的。将最近的数据放在内存中,显然从内存中快速查找数据更快速,应用于此场景显然更快速。类似于内存数据库。我们只需要往集群里增加节点,就能解决负荷上升的问题。 reverse key 反向设计ID,随机化,可以更分散的分布到各个...
阅读全文
摘要:一、Hive1.1 Hive简介1.2 Hive说明1.3Hive的体系架构 来自为知笔记(Wiz)
阅读全文
摘要:一、什么是pig1.pig和sql、map-reduce的关系 来自为知笔记(Wiz)
阅读全文
摘要:MapReducer是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)"一、Mapper1、Mapper负责“分”,把复杂的任务分解为若干个简单的任务执行2、简单的任务分成:a,数据或计算规模对于原任务要大大缩小。b,就近计算,即分配到所需数据节点进行计算。c,这些已分配好的任务彼此间没有依赖关系。二、Reducer1、对于map阶段的结果进行...
阅读全文
摘要:Hadoop Distributed File System 简称HDFS一、HDFS设计目标1、支持海量的数据,硬件错误是常态,因此需要 ,就是备份2、一次写多次读3、运行在普通的硬件上面4、数据块尽量散步到各个节点中二、HDFS不适合的场景1、不适合低延迟的数据,对一个大文件整个文件进行读取,即批量读取而非随机读取2、小文件3、无法对文件的内容任意修改三、HDFS架构1、一个文件被划分成大小固...
阅读全文
摘要:一、什么是hadoop1. 背景Hadoop为分布式文件系统和计算的基础框架系统,其中包含hadoop程序,hdfs系统等。2. 名词解释1.Hadoop, Apache开源的分布式框架。2.HDFS, hadoop的分布式文件系统3.NameNode, hadoop HDFS元数据主节点服务器,负责保存DataNode 文件存储元数据信息。4.JobTracker, hadoop的Map/Red...
阅读全文
摘要:大家可以参考一下源代码的相关部分注释,然后写出自己的16进制处理程序。有几个重点地方: 16进制字符串-》10进制数 int input = Integer.parseInt("Str", 16) 10进制整数-》16进制字符串 String hex = Integer.toHexString(int) 文件读取方法 作为2进制文件直接读取,一个byte为单位的读取。将来我还将在...
阅读全文
摘要:显示的内容显示的内容显示的内容....显示的内容functionsend(){vartests=document.getElementsByName('test');//这里我们定义数组存放checkbox的值,为什么以数组定义呢?这样我们在后台获取数据时才可以////用","进行分割varvalue=newArray(); for(vari=0;i<tests.length;i++){if(te...
阅读全文