君子博学而日参省乎己 则知明而行无过矣

博客园 首页 新随笔 联系 订阅 管理
  1057 随笔 :: 381 文章 :: 141 评论 :: 169万 阅读

04 2015 档案

hadoop的两大核心之一:HDFS总结
摘要：什么是HDFS? hadoop distributed file system(hadoop分布式文件系统) 是一种允许文件通过网络在多台主机上分享的文件系统, 可让多机器上的多用户分享文件和存储空间. 特点: 1.通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一... 阅读全文
posted @ 2015-04-09 00:45 刺猬的温驯 阅读(545) 评论(1) 推荐(0) 编辑

hadoop两大核心之一:MapReduce总结
摘要：MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,MapReduce程序本质上是并行运行的,因此可以解决海量数据的计算问题. MapReduce任务过程被分为两个处理阶段:map阶段和reduce阶段.每个阶段都以键值对作为输入和输出.用户只需要实现map()和reduc... 阅读全文
posted @ 2015-04-09 00:40 刺猬的温驯 阅读(800) 评论(0) 推荐(0) 编辑

MapReduce的模式、算法和用例
摘要：在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners,和 sorting。如下图所示：... 阅读全文
posted @ 2015-04-08 00:27 刺猬的温驯 阅读(498) 评论(0) 推荐(0) 编辑

NoSQL世界的几个重要理论
摘要：和所有事物一样，NoSQL的兴起也是由许多理论支撑作为前提的，正是由下面一些理论的支撑，NoSQL的方向才能如此明朗。1.CAP理论CAP理论无疑是导致技术趋势由关系数据库系统向NoSQL系统转变的最重要原因。CAP（Consistency,Availability,Patition toleran... 阅读全文
posted @ 2015-04-08 00:22 刺猬的温驯 阅读(338) 评论(0) 推荐(0) 编辑

spring-data-elasticsearch
摘要：spring data jpa有一统天下的趋势，提供了一系列访问各种数据库的接口以后操作elasticsearch可以采用spring-data-elasticsearch试试https://github.com/spring-projects/spring-data-elasticsearch 阅读全文
posted @ 2015-04-05 02:43 刺猬的温驯 阅读(694) 评论(0) 推荐(0) 编辑

Chord算法（原理）
摘要：Chrod算法是P2P中的四大算法之一，是有MIT（麻省理工学院）于2001年提出，其他三大算法分别是：CANPastryTapestryChord的目的是提供一种能在P2P网络快速定位资源的的算法，Cord并不关心资源是如何存储的，只是从算法层面研究资源的取得，因此Chord的API就简单到只有一... 阅读全文
posted @ 2015-04-04 04:59 刺猬的温驯 阅读(489) 评论(0) 推荐(0) 编辑

NoSQL数据库的分布式算法
摘要：本文译自Distributed Algorithms in NoSQL Databases系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐，什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根... 阅读全文
posted @ 2015-04-01 01:58 刺猬的温驯 阅读(282) 评论(0) 推荐(0) 编辑

CAP 理论
摘要：CAP理论被很多人拿来作为分布式系统设计的金律，然而感觉大家对CAP这三个属性的认识却存在不少误区。从CAP的证明中可以看出来，这个理论的成立是需要很明确的对C、A、P三个概念进行界定的前提下的。在本文中笔者希望可以对论文和一些参考资料进行总结并附带一些思考。一、什么是CAP理论CAP原本是一个猜想... 阅读全文
posted @ 2015-04-01 01:27 刺猬的温驯 阅读(293) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示