参考：https://blog.csdn.net/u011863024/article/details/107476187

学习视频

redis官网

redis中文网

JAVA源码

 

1 sql的发展

1.1 单机MySQL的美好年代

　　在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。
　　在那个时候，更多的都是静态网页，动态交互类型的网站不多。

DAL dal是数据访问层的英文缩写，即为数据访问层（Data Access Layer）

　　上述架构下，我们来看看数据存储的瓶颈是什么?

　　1）数据量的总大小一个机器放不下时

　　2）数据的索引(B+ Tree)一个机器的内存放不下时

　　3）访问量(读写混合)一个实例不能承受

 

1.2 Memcached(缓存)+MySQL+垂直拆分

　　后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品。

 

1.3 Mysql主从读写分离

　　由于数据库的写入压力增加，Memcached 只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用主从复制技术来达到读写分离，以提高读写性能和读库的可扩展性。Mysql的master-slave模 式成为这个时候的网站标配了。

 

1.4 分表分库+水平拆分+mysql集群

在Memcached的高速缓存，MySQL的主从复制， 读写分离的基础之上，这时MySQL主库的写压力开始出现瓶颈，而数据量的持续猛增，由于MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。

同时，开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候，分表分库成了一个热门技术，是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候，MySQL推出了还不太稳定的表分区，这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群，但性能也不能很好满足互联网的要求，只是在高可靠性上提供了非常大的保证。

1.5 MySQL的扩展性瓶颈

　　MySQL数据库也经常存储一些大文本字段，导致数据库表非常的大，在做数据库恢复的时候就导致非常的慢，不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小， 如果能把这些数据从MySQL省去，MySQL将变得非常的小。关系数据库很强大，但是它并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现)，大数据下IO压力大，表结构更改困难，正是当前使用MySOL的开发人员面临的问题。

 

1.6 今天是什么样子

 

2 为什么用NoSQL

　　今天我们可以通过第三方平台( 如: Google，Facebook等) 可以很容易的访问和抓取数据。用户的个人信息，社交网络，地理位置，用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘，那SQL数据库已经不适合这些应用了，NoSQL数据库的发展也却能很好的处理这些大的数据。

 

3 NoSql是什么

　　NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL 数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。

　　(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

 

4 Nosql的优势

1）易扩展

　　NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

 

2）大数据量高性能

　　NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。

　　这得益于它的无关系性，数据库的结构简单。

　　一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。

而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

 

3）多样灵活的数据模型

　　NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。

　　而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。

 

5 传统RDBMS 对比 NOSQL

5.1 RDBMS

  • 高度组织化结构化数据
  • 结构化查询语言(SQL)
  • 数据和关系都存储在单独的表中
  • 数据操纵语言，数据定义语言
  • 严格的一致性
  • 基础事务

 

5.2 NoSQL

  • 代表着不仅仅是SQL
  • 没有声明性查询语言
  • 没有预定义的模式
  • 键-值对存储，列存储，文档存储，图形数据库
  • 最终一致性，而非ACID属性
  • 非结构化和不可预知的数据:
  • CAP定理
  • 高性能，高可用性和可伸缩性

 

6 NoSQL的分类和常见的NoSql

类型 部分代表 特点
列存储

Hbase

Cassandra

Hypertable

顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。

文档存储

MongoDB

CouchDB

文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有机会对某些字段建立索引，实现关系数据库的某些功能。

key-value存储

Tokyo Cabinet / Tyrant

Berkeley DB

MemcacheDB

Redis

可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）

图存储

Neo4J

FlockDB

图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。

 

7 四类NoSql的比较

 

 

8 当前互联网的需求

　　3V + 3高

8.1 大数据时代的3V）

　　1）海量Volume

　　2）多样Variety

　　3）实时Velocity

 

8.2 互联网需求的3高

　　1）高并发

　　2）高可括

　　3）高性能

 

9 当下NoSQL应用场景简介

　　SQL和NoSQL双剑合璧

　　Alibaba中文站商品信息如何存放，看看阿里巴巴中文网站首页以女装/女包包为例

 

9.1 架构发展历程

9.1.1 演变过程

 

9.1.2 第五代

 

9.1.3 第5代架构使命

 

9.1.4 和我们相关的，多数据源类型的存储问题

 

9.2 商品信息的存储方案

  1. 商品基本信息
    • 名称、价格，出厂日期，生产厂商等
    • 关系型数据库，mysql/oracle目前淘宝在去O化(也即拿掉Oracle)，注意，淘宝内部用的Mysql是里面的大牛自己改造过的
      • 为什么去IOE（在IT建设过程中，去除IBM小型机、Oracle数据库及EMC存储设备） 简而意之，可不用穿脚链跳舞。
  2. 商品描述、详情、评价信息(多文字类)
    • 多文字信息描述类，IO读写性能变差
    • 文档数据库MongDB
  3. 商品的图片
    • 商品图片展现类
    • 分布式的文件系统中
      • 淘宝自家TFS
      • Google的GFS
      • Hadoop的HDFS
  4. 商品的关键字
    • 淘宝自家
    • ISearch
  5. 商品的波段性的热点高频信息（如，情人节的巧克力）
    • 内存数据库
    • Tair、Redis、Memcache
  6. 商品的交易、价格计算、积分累计
    • 外部系统，外部第3方支付接口
    • 支付宝

 

9.3 总结大型互联网应用(大数据、高并发、多样数据类型)的难点和解决方案

  • 难点
    • 数据类型多样性
    • 数据源多样性和变化重构
    • 数据源改造而数据服务平台不需要大面积重构
  • 解决方法
    • EAI
    • UDSL 统一数据平台服务层
      • 是什么
      • 什么样
        • 映射
        • API
        • 热点缓存

 

10 分布式数据库CAP原理

　　https://www.cnblogs.com/jthr/p/14475318.html

 

11 BASE

　　BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案。

　　BASE其实是下面三个术语的缩写：

  • 基本可用（Basically Available）
  • 软状态（Soft state）
  • 最终一致（Eventually consistent）

　　它的思想是通过让系统放松对某一时刻数据一致性的要求来换取系统整体伸缩性和性能上改观。为什么这么说呢，缘由就在于大型系统往往由于地域分布和极高性能的要求，不可能采用分布式事务来完成这些指标，要想获得这些指标，我们必须采用另外一种方式来完成，这里BASE就是解决这个问题的办法

 

12 分布式+集群简介

分布式系统（distributed system）

由多台计算机和通信的软件组件通过计算机网络连接（本地网络或广域网）组成。分布式系统是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。分布式系统可以应用在在不同的平台上如：PC、工作站、局域网和广域网上等。

简单来讲：

  1. 分布式：不同的多台服务器上面部署不同的服务模块（工程），他们之间通过Rpc/Rmi之间通信和调用，对外提供服务和组内协作。
  2. 集群：不同的多台服务器上面部署相同的服务模块，通过分布式调度软件进行统一的调度，对外提供服务和访问。

 

13 Redis简介

　　Redis:REmote DIctionary Server(远程字典服务器)是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的(key/value)分布式内存数据库，基于内存运行 并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一，也被人们称为数据结构服务器。

　　Redis 与其他 key - value 缓存产品有以下三个特点：

  • Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用
  • Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储
  • Redis支持数据的备份，即master-slave模式的数据备份

 

14 Redis能干嘛

  • 内存存储和持久化：redis支持异步将内存中的数据写到硬盘上，同时不影响继续服务
  • 取最新N个数据的操作，如：可以将最新的10条评论的ID放在Redis的List集合里面
  • 模拟类似于HttpSession这种需要设定过期时间的功能
  • 发布、订阅消息系统
  • 定时器、计数器

 

15 Redis的安装

　　https://www.cnblogs.com/jthr/p/14266750.html



16 Redis数据格式和基础命令


　　https://www.cnblogs.com/jthr/p/14475471.html


 


17 配置文件介绍


　　https://www.cnblogs.com/jthr/p/14476693.html


 


18 持久化


　　https://www.cnblogs.com/jthr/p/14481610.html


 


19 事务


　　https://www.cnblogs.com/jthr/p/14488071.html


 


20 主从复制


　　https://www.cnblogs.com/jthr/p/14500683.html


 


21 集群深入知识


　　............