摘要:
如果一个人没有听说过《重构》这本书,那么他一定不敢说自己是程序员;如果一个人没有阅读过《重构》这本书,那么很难想象他会是一名优秀的程序员。这本书是很多公司要求Java程序员必读的三本书之一(另外两本书是《Java编程思想》和《Effective Java》),其实无关编程语言,是程序员就能够从这本书 阅读全文
摘要:
HBase是一个分布式的、面向列的开源数据库,不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 项目中用到了hbase数据库,因为查询方式和以前用过的数据库很不同所以,想将摸索过程记录下来以便之后查看。 hbase查询最大的不同在于 阅读全文
摘要:
目的 鉴于性能问题以及某些Java类库的缺失,对于某些组件,Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so. 本文主要介绍本地库的使用方法以及如何构建本地库。 组件 Hadoop现在已经有以下 compres 阅读全文
摘要:
例子:WordCount v2.0 这里是一个更全面的WordCount例子,它使用了我们已经讨论过的很多Map/Reduce框架提供的功能。 运行这个例子需要HDFS的某些功能,特别是 DistributedCache相关功能。因此这个例子只能运行在 伪分布式 或者 完全分布式模式的 Hadoop 阅读全文
摘要:
其他有用的特性 Counters Counters 是多个由Map/Reduce框架或者应用程序定义的全局计数器。 每一个Counter可以是任何一种 Enum类型。同一特定Enum类型的Counter可以汇集到一个组,其类型为Counters.Group。 应用程序可以定义任意(Enum类型)的C 阅读全文
摘要:
作业的提交与监控 JobClient是用户提交的作业与JobTracker交互的主要接口。 JobClient 提供提交作业,追踪进程 概述 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上 阅读全文
摘要:
概述 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业(job) 通常会把输入的数据集切分为若干独立的数据块,由 map任务(task)以完全 阅读全文
摘要:
Hadoop分布式文件系统(HDFS)允许管理员为每个目录设置配额。 新建立的目录没有配额。 最大的配额是Long.Max_Value。配额为1可以强制目录保持为空。 目录配额是对目录树上该目录下的名字数量做硬性限制。如果创建文件或目录时超过了配额,该操作会失败。重命名不会改变该目录的配额;如果重命 阅读全文
摘要:
概述 Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件而言,当读取这个文件时需要有r权限,当写入或者追加到文件时需要有w权限。 阅读全文
摘要:
AJAX - onreadystatechange 事件 onreadystatechange 事件 当请求被发送到服务器时,我们需要执行一些基于响应的任务。 每当 readyState 改变时,就会触发 目的 本文档的目标是为Hadoop分布式文件系统(HDFS)的用户提供一个学习的起点,这里的H 阅读全文