摘要：
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataN 阅读全文
摘要：
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataN 阅读全文
摘要：
目录 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 HDFS 如何读取文件 HDFS 如何写入文件 HDFS 副本存放策略 Hadoop2.x新特性 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 阅读全文
摘要：
1、项目需求 一本英文书籍包含成千上万个单词，现在我们需要在大量的单词中，找出相同字母组成的所有单词 2、数据集 下面是一本英文书籍截取的一部分单词内容（书籍内容是随意写的，主要目的是实现这种需求） 3、分析 1、先看如下图 在上图中，cat、act是相同字母组成的单词，tar、rat也是相同字母组 阅读全文
摘要：
1.薪资数据集 我们要写一个薪资统计程序，统计数据来自于互联网招聘hadoop岗位的招聘网站，这些数据是按照记录方式存储的，因此非常适合使用 MapReduce 程序来统计。 2.数据格式 我们使用的数据来自互联网招聘网站，其中每一行是一条记录。 下面我们展示一行数据，其中重要的字段被突出显示。该行 阅读全文
摘要：
气象数据集 我们要写一个气象数据挖掘的程序。气象数据是通过分布在美国各地区的很多气象传感器每隔一小时进行收集，这些数据是半结构化数据且是按照记录方式存储的，因此非常适合使用 MapReduce 程序来统计分析。 数据格式 我们使用的数据来自美国国家气候数据中心、美国国家海洋和大气管理局（简称 NCD 阅读全文
摘要：
在安装JDK之前，请确认系统是32还是64，根据系统版本，选择JDK版本、Hadoop版本 下面是以在CentOS-6.5-x86_64系统上安装为例 安装前准备 防火墙关闭后的效果如下 具体操作，请查看"XX/XX/XX/ notes/防火墙.docx" JDK安装 上传JDK 使用rz命令，进行 阅读全文
摘要：
一个模仿memcached的JAVA虚拟缓存工具，可以缓存java对象 1 import java.io.ByteArrayInputStream; 2 import java.io.ByteArrayOutputStream; 3 import java.io.ObjectInputStream; 阅读全文
摘要：
Java语言基础(九) 一.自增运算(++) 自减运算(--) i++ 就是将i+1再赋给 i i-- 是将i-1再赋给 i 对变量i,j来说，i++ 或++i 这里没什么区别，都是将i的值加1后，再赋给i ++j 与 j++ 也没什么区别，将j的值加1后，再赋给j 但在这里， i++ 与 ++i 阅读全文
摘要：
Java语言基础(八)一.数学运算 + - * / % (1)凡是byte short char类型都按int类型的计算 看看上面的代码，为什么出错！ 我已经将100转成byte类型，（byte）100 是byte类型的，b也是byte类型的 那么赋给byte类型的b1 ,为什么还报错 原... 阅读全文
摘要：
Java语言基础（七） 今天在公司多呆了会，回来晚了一.自动类型转换 在Java中，数据是可以转换的 例如可以将byte类型的赋给int类型的 这里希望你了解内存的变化，例如 在这里，我想你应该知道十进制-1为什么是32位二进制1了吧 好好想想，如果想不起来，看看前面的，前面已经提到，实在不知道联系我 这里我们将int类型的 i 赋给long类型的，如下 将int类型的 i 赋给long类型 l ，这时long类型 l 应该是64位二进制1 由于十进制-1是负数，所以将int转换成long时，用1来填充，看下面的例子 ... 阅读全文
摘要：
Java语言基础（六） 前一章提到的, BigDecimal, DecimalFormat等具体用法，这里就不在说了，网上有许多一.下面让我们看一个例子（自由落体运动位移） 说明： (1).公式是 h=(g*t^2)/2 (2).注意这里的变量类型都是double类型的 写上面的代码，想起来一些其他的，看下面的 考虑一下的结果是多少 ？ 上面的输出结果是0 为什么？ 原因是这样的，除号,乘号的优先级是同级别的，如果是同级别的， 那么就从左向右运算；2/3整除得0，然后再乘6，依然是0； 上面的属于运算符的事，后面的会继续讲，这里提... 阅读全文
摘要：
Java语言基础（五） 一.浮点数 浮点数就是小数，其标准是IEEE 754，用指数和尾数表示 例如30000=3*10000=3*10^4 其中4是指数，3是尾数 Java中，浮点数有float ,double float 32位 1位符号位 8位指数 23位存储尾数 float精度为6~7位(2 阅读全文
摘要：
Java语言基础（四）一.基本数据类型(8) byte 8位 使用较少，一般用于网络传输； -128～+127 short 16位 不常用 -32768～+32767 int 32位 常用 -2^31～+2^31-1 大概在 --21亿～+21亿 long 64位 float 32位 double 64位 char 16位 boolean 8位 (1).不能超范围计算 大家想一下，这个结果为什么是-128 ？ byte补码的最大值是127 那么加上1 0 1 1 1 1 ... 阅读全文
摘要：
Java语言基础（三）一. 补码(1).之所以有补码是因为要考虑成本 就是造计算机的成本(2).下面让我们分析一下补码 以四位补码为例 高位是符号位，它决定其是正数还是负数 0表示正数 1表示负数 0001代表十进制1 1001表示 -7 从上图你能看出什么？ (1).十进制相加等于0 -1+1=0 -3+3=0 -5+5=0 那么二进制呢? 0 0 0 1 + 1 1 1 1 --------------------------- 1 0 0 0 0 0 0... 阅读全文
摘要：
Java语言基础（二）一．变量续(1).变量有明确的类型(2).变量必须有声明，初始化以后才能使用(3).变量有作用域，离开作用域后自动回收 变量作用域在块内有效(4).在同一定义域中变量不能重复定义 (5).变量的值可以修改 二．进制基础 计算机处理的是数据，而且是二进制 二进制:逢二进制一 000000-----代表十进制0000001-----代表十进制1000010-----代表十进制2000011-----代表十进制3000100-----代表十进制4000101-----代表十进制5000110-----代... 阅读全文
摘要：
Java语言基础（一）在这里说明一下，有基础的跳过 高手跳过。在这里我想复习以前的东西，以及给正在学java的一些帮助我用的MyEclipse8.5编写java代码，有需要联系我 QQ:903569845一. 创建HelloWord 在这里需要注意的地方： (1.)类中括号是配对的； (2).在main方法中，括号也是配对的 (3).一条语句是以分号(;)结束 (4).main方法是java程序的入口 (5).字符串是以双引号开始与结束的 (6).注意缩进 按ctrl+shift+f快捷键缩进 (7).使用api需要import然后运行,选择Ru... 阅读全文