数据 学习路线

1. Nosql 

1.1 MongoDB

文档模型

分片

2. 分布式缓存

2.1 Memocached

2.2 Redis

两者区别：论述Redis和Memcached的差异

3. 关系数据库

3.1 Mysql

　　Mysql 掌握要点

3.2 数据库设计

3.2.1 范式 

第一范式：第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。

 

第二范式：第二范式（2NF，台湾译作第二正规化）是数据库规范化中所使用的一种正规形式。它的规则是要求数据表里的所有数据都要和该数据表的主键有完全依赖关系；如果有哪些数据只和主键的一部份有关的话，它就不符合第二范式。同时可以得出：如果一个数据表的主键只有单一一个字段的话，它就一定符合第二范式(前提是该数据表符合第一范式)。

 

第三范式：第三范式是指满足第二范式并且表中的列不存在对非主键列的传递依赖的性质，也指每个非关键字列都独立于其他非关键字列，并依赖于关键。第三范式指数据库中不能存在传递函数依赖关系。

3.2.2 E-R图

4. 搜索引擎

4.1 Solr 

　　Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

4.2 ElasticSearch

　　ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

　　我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题以及可能出现的更多其它问题。

5. 大数据

5.1 Hadoop

　　Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

　　Hadoop的框架最核心的设计就是：HDFS和MapReduce。

• 　HDFS为海量的数据提供了存储
• 　MapReduce为海量的数据提供了计算。

5.2 Hbase

　　HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

5.3 Spark

　　Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

　　Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

　　Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

　　尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

5.4 Storm/JStorm

　　Storm是开源的分布式容错实时计算系统，目前被托管在GitHub上，遵循 Eclipse Public License 1.0。最初由BackType开发，现在已被Twitter收入麾下。Storm最新版本是Storm 0.9，核心采用Clojure实现。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息；Storm也可被用于“连续计算”（continuous computation），对数据流做连续处理，在计算时就将结果以流的形式输出给用户；它还可被用于“分布式RPC”，以并行的方式执行运算。

　　Storm主要特点如下：

1. 简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了实时处理的复杂性。
2. 语言无关。Storm的消息处理组件可以用任何语言来定义。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。
3. 容错性。如果在消息处理过程中出了一些异常，Storm会重新调度出问题的处理逻辑。Storm保证一个处理单元永远运行，除非显式杀掉。
4. 可伸缩性。Storm的可伸缩性可以使其每秒处理的消息量达到很高。为了扩展一个实时计算任务，需要做的就是增加节点并且提高计算任务的并行度设置(parallelism setting)。Storm应用在10个节点的集群上每秒可以处理高达1000000个消息，包括每秒一百多次的数据库调用[5]。同时Storm使用ZooKeeper来协调集群内的各种配置使得Storm的集群可以很容易扩展。
5. 保证无数据丢失。实时系统必须保证所有的数据被成功的处理。 那些会丢失数据的系统的适用场景非常窄，而Storm保证每一条消息都会被处理。
6. 适用场景广泛。消息流处理、持续计算、分布式方法调用等是Storm适用场景广泛的基础，Storm的这些基础原语可以满足大量的场景。

　　虽然Storm具备诸多优势，但也存在不足：

1. Storm目前还存在Nimbus SPOF的问题；
2. 存在雪崩问题；
3. 资源粒度较粗；
4. Clojure实现引入了学习成本；

　　为此，阿里巴巴中间件团队用Java重新实现了类Storm的JStorm，同样被托管在GitHub上，遵循 Eclipse Public License 1.0，目前版本0.9.3。相关资料显示，阿里巴巴内部已经大规模部署了Storm/JStorm集群。
JStorm继承了Storm的所有优点，同时与Storm相比JStorm所特有的如下特点：

1. 兼容Storm接口。开发者在Storm上运行的程序无需任何修改即可运行在JStorm上。
2. Nimbus HA。解决了Storm的Nimbus单点问题，支持自动热备切换Nimbus。
3. 更细粒度的资源划分。JStorm从CPU、MEMORY、DISK和NET四个维度进行任务调度，同时不存在任务抢占问题。
4. 可定制的任务调度机制。（Storm的任务调度目前也可定制）
5. 更好的性能。通过底层ZeroMQ和Netty使JStorm具有更好的性能，同时具有更好的稳定性。
6. 解决了Storm的雪崩问题。通过Netty和disruptor机制实现RPC保证可以匹配的数据发送和接收速度避免雪崩问题。

　　此外，JStorm通过减少对zookeeper的访问量、增加反序列化线程、优化ACK、增加监控内容及JAVA本身优势等各个方面优化了Storm的性能和稳定性。总之，JStorm比Storm更强大、更稳定、性能更好。