NoSQL的概述
新时代背景下为什么要使用NoSQL
1.在单机MySQL的时代下
在以前的年代,一个网站的访问量并不是很大,用单个数据库完全可以轻松应付。
在那个年代,更多的是静态网页,动态交互类型的网站不多。
其中DAL是数据访问层的英文缩写也就是数据访问层(data access layer)
从上述的架构可以看出数据存储的瓶颈在于:
1.数据量的总大小一个机器放不下
2.数据的索引一个机器的内存放不下时
3.访问量(读写混合)一个实例不能承受
2.Memchaed(缓存)+MySQL+垂直拆分
随着访问量的上升,几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题,web程序不再仅仅关注在功能上了,同时也在追求性能。
于是乎程序员们就开始了大量的使用缓存计数来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,
但是当访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带来了比较高的IO压力。因此,Memcached就成为了一
种时尚的技术产品。
3.Mysql主从读写分离
由于数据库的写入压力增大,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到
读写分离,从而提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。
4. 分表分库+水平拆分+mysql集群
在Memcached的高速缓存下,MySQL的主从复制,读写分离的基础之上,这个时候MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增,
由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。
同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,也就在这个时候,MySQL推出了还不太稳定的表分区,
这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群,但性能也不能很好满足互联网的要求,只是在高可靠性上提供了非常大的保证。
5.MySQL的扩展性瓶颈
MySQL数据库也经常存储一些大文本字段,导致数据库表非常大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。
比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变得非常的小。关系数据库强大,但是它
并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,也是面前
使用MySQL的开发人员面临的问题。
6.如今的样子
为什么要使用NoSQL
通过第三方平台可以很容易的访问和抓取数据。用户的信息已经成倍增长。如果要对用户数据进行挖掘,那么SQL数据库已经不适合这些应用了,
NoSQL数据库的发展能够很好的处理这些大的数据。
NoSQL是什么?
NoSQL一般指非关系型数据库。传统的关系数据库在面对超大规模和高并发的动态网站已经力不从心了,然后非关系型数据库的数据库则是由于其本身的
特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战。
NoSQL能从事哪些方面的应用
1.易扩展
NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。
2.大数据量高性能
NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。
得益于它的无关系性,数据库的结构简单。
一般MySQL使用Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache。在面对交互频繁的应用,Cache性能不高。
然而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说性能就高很多。
3.多样灵活的数据模型
NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。
而在关系数据库里,增删字段非常麻烦。如果是非常大数据量的表,增加字段简直无法想象。
NoSQL有3V和3高
大数据时代的3V:
1.海量Volume
2.多样Variety
3.实时Velocity
互联网需求的3高:
1.高并发
2.高可括
3.高性能