jseven - 博客园

2014年7月1日

摘要： 1.1. hadoop抽象文件系统因java.io.FileSystem为私有抽象包，不可被外界包引用，因此hadoop特别提供了一个抽象的文件系统, HDFS只是一个具体实现，org.apache.hadoop.fs.FileSystem hadoop通过getFi... 阅读全文

posted @ 2014-07-01 22:55 jseven 阅读(194) 评论(0) 推荐(0) 编辑

Hadoop技术内幕HDFS-笔记8之java文件系统

摘要： 1.1. java文件系统 1.1.1. URI和URL 1.1.2. java IO(自行研究) 阅读全文

posted @ 2014-07-01 22:52 jseven 阅读(112) 评论(0) 推荐(0) 编辑

Hadoop技术内幕HDFS-笔记7之hadoop文件系统

摘要：文件系统，对文件和目录的管理1.1. linux本地文件系统1.1.1. 虚拟文件系统1.1.1. linux文件保护机制 1.2. 分布式文件系统NFS 阅读全文

posted @ 2014-07-01 22:49 jseven 阅读(195) 评论(0) 推荐(0) 编辑

2014年6月30日

Hadoop技术内幕HDFS-笔记6之RPC

摘要： 1.1. hadoop远程过程调用1、远程接口调用（必须实现VersionedProtocol接口）里面有一个方法，IPC通信时会比较客户端和服务端接口的版本号。必须一致才可以package rpc;import org.apache.hadoop.ipc.VersionedProtocol;pu... 阅读全文

posted @ 2014-06-30 23:13 jseven 阅读(265) 评论(0) 推荐(0) 编辑

Hadoop技术内幕HDFS-笔记5之动态代理

摘要： 1.1. java动态代理java.lang.reflect包下的Proxy（创建代理对象）和InvocationHandler（调用转发）两个类代理对象代表目标对象（target）执行相应的活动静态代理：代理对象实现目标对象一致的接口，实现代理接口和调用转发（不推荐使用）在调用前后的附加逻辑，体... 阅读全文

posted @ 2014-06-30 23:09 jseven 阅读(382) 评论(0) 推荐(0) 编辑

Hadoop技术内幕HDFS-笔记4之远程调用

摘要： 1. hadoop远程过程调用RPC：XML-RPC，JSON-RPC，CORBA，RMI（Remote Method Invocation）,Haoop IPC(进程间通信)RPC原理：允许本地程序（客户端）调用其他机器（服务器）上的过程，客户端使用参数将信息传送给调用方，通过返回值得到消息。RP... 阅读全文

posted @ 2014-06-30 23:00 jseven 阅读(739) 评论(0) 推荐(0) 编辑

Hadoop技术内幕HDFS-笔记4之压缩

摘要： 1.1. 压缩减少存储空间，加快传输速率在hadoop中，压缩应用于文件存储、Map端到Reduce端的数据交换等情景。hadoop，主要考虑压缩速率和压缩文件的可分割性压缩算法：时间和空间的权衡更快的压缩和解压缩效率通常压缩比较低。hadoop提供了对压缩算法的编码和解码器类编码和解码示例（采用... 阅读全文

posted @ 2014-06-30 22:57 jseven 阅读(410) 评论(0) 推荐(0) 编辑

Hadoop技术内幕HDFS-笔记3之序列化

摘要： 1.1. 序列化org.apache.hadoop.io包序列化：将一个对象编码为一个字节流反序列化：相反过程用途：1、作为一种持久化格式：可存储在硬盘上，供以后反序列化使用2、作为一种通信数据格式：可在JVM之间，通过网路相互传递3、复制的机制：深度复制1.1.1. java内建序列化机制：... 阅读全文

posted @ 2014-06-30 22:51 jseven 阅读(473) 评论(0) 推荐(0) 编辑

2014年6月27日

Hadoop技术内幕HDFS-笔记2

摘要：任何一个复杂的软件系统，为了提高其适应性和扩展性，一般都会有一个配置模块或者配置系统，作完成其扩展、定制的手段和方式。1.1. Windows的配置文件（第一次知道这事啊）：采用的是ini后缀的文本文件，可通过动态链接库提供方法进行处理。初始化文件或profile概要文件1.2. Java配置文件：... 阅读全文

posted @ 2014-06-27 08:58 jseven 阅读(233) 评论(0) 推荐(0) 编辑

2014年6月26日

Hadoop技术内幕HDFS-笔记1

摘要：书籍学习——董西成《Hadoop技术内幕深入解析HADOOP COMMON和HDFS架构设计与实现原理》HDFS 高容错，高伸缩性Lucene是引擎开发包，提供了一个纯java的高性能全文检索，可方便的嵌入到各种应用中实现全文搜索/索引功能。Nutch是以Lucene为基础实现的搜索引擎应用，Lu... 阅读全文

posted @ 2014-06-26 19:50 jseven 阅读(446) 评论(0) 推荐(0) 编辑

公告