lihui1625 - 博客园

2015年1月20日

笔记：深入解析MapReduce架构设计与实现原理第6章 JobTracker 内部实现

摘要：一、JobTracker功能 1、作业控制 2、资源管理二、启动分析 1、重要对象初始化 2、各种线程 3、作业恢复三、心跳接收与应答 1、状态更新 2、下达命令四、Job 与 Task 运行时信息保护 1、作业描述 2、JobInProgress 3、TaskInprogress 4、Job 阅读全文

posted @ 2015-01-20 22:45 lihui1625 阅读(112) 评论(0) 推荐(0) 编辑

笔记：深入解析MapReduce架构设计与实现原理第5章 Job提交与初始化

摘要：一、Job提交过程 1、执行shell 2、Job 文件上传 3、产生 InputSplit 文件 4、作业提交到 JobTracker 二、作业初始化过程 1、Setup Task 2、Map Task 3、Reduce Task 4、Cleanup Task 三、DistributedCache 阅读全文

posted @ 2015-01-20 22:34 lihui1625 阅读(84) 评论(0) 推荐(0) 编辑

笔记：深入解析MapReduce架构设计与实现原理第4章 RPC框架解析

摘要：一、RPC 四个部分 1、序列化层：传递的参数都实现Writable 2、函数调用层：采用反射和动态代理 3、网络传输层：基于Socket 4、服务器端处理框架：基于Reactor模式的事件驱动I/O模型二、反射与动态代理 java.lang.reflect.Proxy java.lang.ref 阅读全文

posted @ 2015-01-20 22:23 lihui1625 阅读(136) 评论(0) 推荐(0) 编辑

笔记：深入解析MapReduce架构设计与实现原理第3章 MapReduce编程模型

摘要：一、文件切分块大小 splitSize = max (minSize, min(maxSize，blockSize)) 其中： minSize 参数mapred.min.split.size指定 maxSize 参数mapred.max.split.size指定 blockSize 块大小，默认64 阅读全文

posted @ 2015-01-20 22:04 lihui1625 阅读(87) 评论(0) 推荐(0) 编辑

笔记：深入解析MapReduce架构设计与实现原理第2章 MapReduce设计理念和基本架构

摘要：一、MapReduce 架构 HDFS 的基本单位：block，默认64M。 TaskTracker 上的计算资源单位：slot (CPU、内存等) MapReduce 的处理单位：split (每个split交给1个Map Task，split 包含了数据起始位置、数据长度、数据所在点等元数据信息阅读全文

posted @ 2015-01-20 21:46 lihui1625 阅读(112) 评论(0) 推荐(0) 编辑

2015年1月19日

笔记：深入理解JVM 第五部分高效并发 (第12、13章)

摘要：一、第12章 Java 内存模型 1、Java内存模型内存间的交互操作：lock、unlock、read、load、use、assign、store、write volatile 变量：保证变量对所有线程可见；禁止指令重排序优化。 long、double 特殊规则：允许将没有volatile修饰的阅读全文

posted @ 2015-01-19 12:02 lihui1625 阅读(108) 评论(0) 推荐(0) 编辑

笔记：深入理解JVM 第四部分程序编译及代码优化 (第10、11章)

摘要：一、第10章编译期优化 1、JavaC 编译器功能：解析与填充符号表、处理Annotation、语义分析与字节码生成 2、Java语法糖语法糖：计算机语言中添加某种语法，语法对语言功能没有影响，但是方便程序员使用。使用场合：泛型、变长参数、自动装箱拆箱、Foreach循环等解语法糖：虚拟机阅读全文

posted @ 2015-01-19 11:02 lihui1625 阅读(62) 评论(0) 推荐(0) 编辑

笔记：深入理解JVM 第三部分虚拟机执行子系统 (第6、7、8、9章)

摘要：一、第6章类文件结构 1、Class类文件结构结构：二进制流魔数：0xCAFEBABE 1.7.0的版本号：50.0 内容：常量池、访问标志、类索引、父类索引、接口索引集合、字段表集合、方法表集合、属性表集合、 2、字节码指令分类：加载和存储指令、运算指令、类型转换指令、对象创建和访问指令、阅读全文

posted @ 2015-01-19 10:43 lihui1625 阅读(103) 评论(0) 推荐(0) 编辑

笔记：Java面向对象编程第11章对象的生命周期

摘要：一、创建对象的方式 1、new 语句（会调用构造方法） 2、反射（会调用构造方法） 3、clone （不会调用构造方法） 4、反序列化 (调用无参的构造函数) 二、构造方法不能修饰的关键字：static、final、synchronized、abstract、native 不能有返回值，如果有阅读全文

posted @ 2015-01-19 09:16 lihui1625 阅读(92) 评论(0) 推荐(0) 编辑

2015年1月18日

笔记：Java面向对象编程第10章类的生命周期

摘要：一、JVM 的生命周期 JVM 结束的时机：程序结束；程序因为异常或错误终止；System.exit()；操作系统终止JVM 二、类生命周期的开始步骤： (1)、加载 (2)、连接：包括验证(即确保其正确性)、准备(即为静态变量分配内存、初始化默认值)、解析(将符号引用转换为直接引用) (3)、阅读全文

posted @ 2015-01-18 22:45 lihui1625 阅读(213) 评论(0) 推荐(0) 编辑

2015年1月17日

HTTP Request/Response header

摘要： http://www.cnblogs.com/lexus/archive/2012/02/21/2360944.html URL详解 URL(Uniform Resource Locator) 地址用于描述一个网络上的资源, 基本格式如下 schema://host[:port#]/path/... 阅读全文

posted @ 2015-01-17 14:26 lihui1625 阅读(211) 评论(0) 推荐(0) 编辑

HTTP 常用 Header

摘要： HTTP（Hyper Text Transfer Protocol）即超文本传输协议，目前网页传输的的通用协议。HTTP协议采用了请求/响应模型，浏览器或其他客户端发出请求，服务器给与响应。就整个网络资源传输而言，包括message-header和message-body两部分。首先传递messag 阅读全文

posted @ 2015-01-17 14:07 lihui1625 阅读(800) 评论(0) 推荐(0) 编辑

2015年1月16日

三大框架面试笔记-Hibernate

摘要： Hibernate概念：是一个面向JAVA环境得对象/关系数据库映射工具。主要体现： 1. 是开源的持久层框架 2. ORM映射工具，建立面向对象的域模型和关系数据模型之间得映射 3. 是连接JAVA工程和数据库得中间件 4. 对JDBC得封装，负责对JAVA对象得持久化 5. 在分层结构中处于持阅读全文

posted @ 2015-01-16 23:14 lihui1625 阅读(97) 评论(0) 推荐(0) 编辑

三大框架面试笔记-Spring

摘要： Spring 基本信息概念：Spring是一个非常活跃的开源框架；它是一个基于Core来构架多层JavaEE系统的框架，Spring以一种非侵入式的方式来管理你的代码，Spring提倡”最少侵入”，这也就意味着你可以适当的时候安装或卸载Spring 作用：它的主要目地是简化企业开发 Spring配阅读全文

posted @ 2015-01-16 22:47 lihui1625 阅读(131) 评论(0) 推荐(0) 编辑

2015年1月12日

Bloom Filter概念和原理

摘要： http://blog.csdn.net/jiaomeng/article/details/1495500目录(?)[-]Bloom Filter概念和原理集合表示和元素查询集合表示和元素查询错误率估计错误率估计最优的哈希函数个数最优的哈希函数个数位数组的大小位数组的大小总结总结参考资料参考资料Bl... 阅读全文

posted @ 2015-01-12 10:39 lihui1625 阅读(105) 评论(0) 推荐(0) 编辑

2015年1月11日

笔记：编写高质量代码改善Java程序的151个建议

摘要：待续阅读全文

posted @ 2015-01-11 21:10 lihui1625 阅读(56) 评论(0) 推荐(0) 编辑

笔记：Effective Java

摘要： 1、静态Factory替代Constructor函数优势：有名称；不必每次都创建一个新对象，可实现享元；可返回子类型对象；参数化构造时候，代码简洁。 2、遇到多个Constructor 参数时候考虑使用Builder 模式 3、避免创建不必要的对象，尽量重用如 String s = "aaaa" 阅读全文

posted @ 2015-01-11 20:48 lihui1625 阅读(89) 评论(0) 推荐(0) 编辑

2015年1月9日

HTTP状态码

摘要：一、临时响应 1xx 表示临时响应并需要请求者继续执行操作的状态码。 100(继续) 请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。 101(切换协议) 请求者已要求服务器切换协议，服务器已确认并准备切换。二、成功 2xx 表示成功处理了请求的状态码。 200 阅读全文

posted @ 2015-01-09 18:49 lihui1625 阅读(75) 评论(0) 推荐(0) 编辑

JAVA8 十大新特性详解

摘要： http://www.jb51.net/article/48304.htm 一、接口的默认方法 Java 8允许我们给接口添加一个非抽象的方法实现，只需要使用 default关键字即可，这个特征又叫做扩展方法，示例如下： Formula接口在拥有calculate方法之外同时还定义了sqrt方法，实阅读全文

posted @ 2015-01-09 18:34 lihui1625 阅读(102) 评论(0) 推荐(0) 编辑

java7 新特性

摘要： http://blog.csdn.net/luckykapok918/article/details/8278217 http://blog.csdn.net/yq76034150/article/details/6769622 网上流传的很多都不支持，测试了一下，整理如下：对集合类的语言支持（阅读全文

posted @ 2015-01-09 18:09 lihui1625 阅读(121) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第10章管理Hadoop

摘要： 1、HDFS 结构 namenode：fsimage、edits datanode: 2、阅读全文

posted @ 2015-01-09 17:18 lihui1625 阅读(98) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第9章构建Hadoop集群

摘要：一、集群规范待续阅读全文

posted @ 2015-01-09 17:17 lihui1625 阅读(90) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第8章 MapReduce 的特性

摘要：一、计数器二、排序 1、部分排序 2、全排序 3、辅助排序三、表连接 1、reduce端连接 2、map端连接四、边数据分布阅读全文

posted @ 2015-01-09 17:16 lihui1625 阅读(101) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第7章 MapReduce 的类型与格式

摘要：一、输入输出类型 map 输出的key、value类型与reduce 输入的key、value 一致。二、默认的MapReduce作业默认Map：IdentityMapper 默认Reduce：IdentityReducer 默认Partitioner：HashPartitioner 三、输入/ 阅读全文

posted @ 2015-01-09 17:16 lihui1625 阅读(103) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第6章 MapReduce 的工作机制

摘要：一、Job执行流程二、状态传递流程三、任务失败可以设置 Mapper、Reducer 失败重试次数 TaskTracker 失败可能被列入黑名单 JobTracker 的HA 通过ZooKeeper实现四、Job 调度 Job 的优先级：VERY_HIGH，HIGH，NORMAL，LOW，V 阅读全文

posted @ 2015-01-09 17:15 lihui1625 阅读(82) 评论(0) 推荐(0) 编辑

2015年1月8日

笔记：Hadoop权威指南第5章 MapReduce 应用程序开发

摘要：一、代码结构新接口的代码结构：启动作业的命令： hadoop jar myjob.jar com.test.MaxTemperature -conf conf/tempConf,xml in/ncdn/1990 out/ncnd/1990 获取输出命令： hadoop fs -getmerge 阅读全文

posted @ 2015-01-08 20:07 lihui1625 阅读(89) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第4章 Hadoop I/O

摘要：一、HDFS数据完整性保证 1、DataNode在读取和写入的时候验校验和 2、后台线程DataBlockScanner 也会检查校验和 3、若检查到检验和错误，则报告namenode，自动进行删除、复制、恢复操作。二、压缩 1、好处：减少存储的磁盘空间；加速数据在网络和磁盘上的传输。 2、支持切阅读全文

posted @ 2015-01-08 19:47 lihui1625 阅读(80) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第3章 HDFS

摘要：一、适合 HDFS 的场合 1、超大文件：几百MB、几百GB、几百TB、PB 2、流式访问：一次写入，多次访问 3、商用硬件：不昂贵，可以容忍故障二、不适合HDFS的场合 1、低时间延迟的数据访问 (可以用HBase) 2、大量的小文件：将耗尽NameNode 的内存 3、多用户写入，任意修改文件阅读全文

posted @ 2015-01-08 18:58 lihui1625 阅读(122) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第2章关于MapReduce

摘要：一、并行计算遇到的问题 1、难以将任务分成相同大小的作业块 2、将独立进程运行的结果合并后，可能还需要进一步的处理 3、依旧受限于一台计算机的处理能力二、MapReduce Job 的一些特点 1、MapReduce job 的定义：客户端要执行的一个工作单元，包括输入数据、MapReduce程序阅读全文

posted @ 2015-01-08 18:23 lihui1625 阅读(83) 评论(0) 推荐(0) 编辑

笔记：Hadoop权威指南第1章初识Hadoop

摘要：大数据处理遇到问题： (1)、磁盘存储容量快速增加，但是访问速度进步不大；用户乐意使用磁盘共享访问。 (2)、硬件故障，可以使用备份解决。 (3)、分布式系统，需要可靠性。关系数据库与MapReduce比较： (1)、磁盘寻址时间提高远低于传输速率；流式读取取决于传输速率；在数据库更新大部分数据时阅读全文

posted @ 2015-01-08 17:58 lihui1625 阅读(107) 评论(0) 推荐(0) 编辑

公告