摘要:
和HDFS一样,MapReduce也是采用Master/Slave的架构 MapReduce1包含4个部分:Client、JobTracker、TaskTracker和Task Client 将JAR文件、配置参数Configuration、计算分片、Distributed Cache 文件存储在H 阅读全文
2017年5月11日
2017年5月10日
摘要:
MapReduce内部逻辑 Split:HDFS 中的数据以 Split 方式作为 MapReduce 的输入 Block 是 HDFS 术语,Split 是 MapReduce 术语 通常1个 Split 对应1个 block,也可能对应多个block,具体是由 InputFormat 和压缩格式 阅读全文
2017年4月28日
摘要:
概述 KVM(Kernel Virtual Machine) , 作为开源的内核虚拟机,越来越受到 IBM,Redhat,HP,Intel 等各大公司的大力支持,基于 KVM 的开源虚拟化生态系统也日益完善。而实现 KVM 虚拟化,使客户机高效地、安全地使用宿主机的内存资源,就必须实现内存的虚拟化。 阅读全文
2017年4月9日
摘要:
函数编程(简称FP)不只代指Haskell Scala等之类的语言,还表示一种编程范式,和面向对象的编程方式一样,是编程思维,软件思考方式,也称面向函数编程。 编程的本质是组合,组合的本质是范畴Category,而范畴是函数的组合。 阅读全文
2017年4月7日
摘要:
图一: 图二: Spring工作流程描述 1. 用户向服务器发送请求,请求被Spring 前端控制Servelt DispatcherServlet捕获; 2. DispatcherServlet对请求URL进行解析,得到请求资源标识符(URI)。然后根据该URI,调用HandlerMapping获 阅读全文
摘要:
在Java语言中,abstract class 和interface是支持抽象类定义的两种机制。正是由于这两种机制的存在,才赋予了Java强大的面向对象能力。 从语法定义层面看 在面向对象领域,抽象类主要用来进行类型隐藏。 1、抽象类和接口都不能直接实例化,如果要实例化,抽象类变量必须指向实现所有抽 阅读全文
2017年4月5日
摘要:
OpenStack 管理的资源不是单机的而是一个分布的系统,把分布的计算、存储、网络、设备、资源组织起来,形成一个完整的云计算系统;OpenStack 也提供一个 UI,这里包括一个图形化的 UI:Horizon,也提供命令行的界面,还提供了一套 API 支持用户开发自己的软件… OpenStack 阅读全文
摘要:
Strom是分布式实时计算系统,它对于实时计算的意义类似于hadoop对于批处理的意义。与Storm关系密切的语言:核心代码用clojure书写,实用程序用python开发,使用java开发拓扑。 Storm的适用场景 1.流数据处理。Storm可以用来处理源源不断流进来的消息,处理之后将结果写入到 阅读全文