摘要：
最近接触maven, 配置过程中记录一下。STS是解压版的，启动后，可以看到已经有了Maven插件，，但是，STS也同时给你了一个Maven，但是通常不建议使用STS自带的maven。使用默认的也可以，不过有时候可能出现各种莫名其妙的问题。一、首先下载Maven并配置自定义本地仓库它是apache下... 阅读全文
摘要：
分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大 并发下的本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管 理和回收机制。其次是分布式管理和分布式算法，其次是缓存键值管理和路由。什么是Mem... 阅读全文
摘要：
最近因为参与项目的关系，对淘宝，京东，苏宁易购三家网站系统构架做了一点点了解。 阅读全文
摘要：
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。 其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表 hadoop只支持HDFS这一中实现，其同时支... 阅读全文
摘要：
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处... 阅读全文
摘要：
分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。 Hadoop提供了一个文件系统接口和多个分布式文件系统实现，其中比较重要的就是HDFS（Hadoop Distributed Filesystem）了。Hadoop是一个综合性的文件系统抽象，因此它也可以集成其他文件系统的实... 阅读全文
摘要：
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。术语 Ma... 阅读全文
摘要：
“兵马未动，粮草先行”，要想深入的了解hadoop，我觉得启动或停止hadoop的脚本是必须要先了解的。说到底，hadoop就是一个分布式存储和计算框架，但是这个分布式环境是如何启动，管理的呢，我就带着大家先从脚本入手吧。说实话，hadoop的启动脚本写的真好，里面考虑的地方非常周全（比如说路径中有... 阅读全文
摘要：
1、hadoop版本介绍0.20.2版本以前（不含该版本）的配置文件都在default.xml中。0.20.x以后的版本不含有eclipse插件的jar包，由于eclipse的版本不一，所以就需要自己编译源码生成对应的插件。0.20.2——0.22.x版本的配置文件集中在conf/core-site... 阅读全文