SpringBoot redis缓存及minio存储

一，缓存　　

　　缓存是什么？缓存是一种介于数据永久存储介质与应用程序之间的数据临时存储介质，使用缓存可以有效的减少低速数据读取过程的次数（例如磁盘IO），提高系统性能。此外缓存不仅可以用于提高永久性存储介质的数据读取效率，还可以提供临时的数据存储控件。而springboot提供了对市面上几乎所有的缓存技术进行整合的方案。

1.1  springboot内置缓存

　　Springboot技术提供有内置的缓存解决方案，可以帮助开发者快速开启缓存技术，并使用缓存技术进行数据的快速操作，例如读取缓存数据和写入数据到缓存。

  •  步骤1：导入springboot提供的缓存技术对应的starter
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-cache</artifactId>
</dependency>

 

  • 步骤2：启用缓存，在引导类上方标注注解@EnableCaching配置springboot程序中可以使用缓存，开启缓存功能。
  • 步骤3：在service方法上加上@Cacheable(value = "cacheHome", key = "#identity")注解。value是给缓存起名字，key是键值对的key值。

 

 

 1.2  Springboot整合Redis

　　Redis全称Remote Dictionary Server(远程字典服务)，它是一个基于内存实现的键值型非关系(NoSQL)数据库（https://redis.io/）

　　特点：Redis数据库没有“表”的概念，它通过不同的数据类型来实现存储数据的需求，不同的数据类型能够适应不同的应用场景

　　应用场景：

    • 热点数据的缓存，作为缓存数据
    • 限时业务的运用，秒杀 存放用户信息 短信保存
    • 计数器相关问题， 点赞量 播放量 访问量
    • 排行榜相关问题
    • 分布式锁

　　整合操作步骤如下：

  • 导入springboot整合redis的starter坐标
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

 

  • 进行基础配置
spring:
    redis:
        host: localhost
        port: 6379

　　操作redis，最基本的信息就是操作哪一台redis服务器，所以服务器地址属于基础配置信息，不可缺少。但是即便你不配置，目前也是可以用的。因为以上两组信息都有默认配置，刚好就是上述配置值。

  • 使用springboot整合redis的专用客户端接口操作，此处使用的是RedisTemplate:

 

    

 

 

问题：虽然内存存上了，但是在cmd中却是取不出来的，查看所有的keys可以看到key值被序列化了。为什么呢？　

 　　因为Template需要参数为<K, V>，未指定时默认为object类型，因此在传输过程中会被序列化，解决方法是使用springRedisTemplate。

 1.3  Redis客户端选择

　　我们习惯用的客户端技术是jedis，但是springboot默认使用的是lettucs作为默认的客户端技术。

  • jedis连接Redis服务器是直连模式，当多线程模式下使用jedis会存在线程安全问题，解决方案可以通过配置连接池使每个连接专用
  • lettcus基于Netty框架进行与Redis服务器连接，底层设计猜用StatefulRedisConnection。StatefulRedisConnection自身是线程安全的额，可以保障并发访问安全问题，所以一个连接可以被多线程复用。　　

1.4 第三方库Redisson

二 minio

　　minIO是一款基于Go语言开发的高性能、分布式的对象存储系统。客户端支持Java, Net, Python, Javascript, Golang语言。

　　MinIO 英文官网  MinIO 中文官网 注意：中文官方更新不及时，会有很多坑，请以英文官网为准。

2.1 存储方式　　

　　为什么会有这么多存储类型？

　　　　因为业务需要，不同场景需要满足不同的人，其实有很多存储类型可以用，三种只是常见的。就像有很多种编程语言，没有优劣之分，只是在各自领域里各司其职.

　　三种存储类型有什么区别？

　　　　这个本来该了解了三种存储类型得具体含义后再说，但我觉得知乎上的答案说的很好：这三者的本质差别是使用数据的“用户”不同：块存储的用户是可以读写块设备的软件系统，例如传统的文件系统、数据库；文件存储的用户是自然人；对象存储的用户则是其它计算机软件。

2.1.1  块存储　

　　传统的文件系统，是直接访问存储数据的硬件介质的。介质不关心也无法去关心这些数据的组织方式以及结构，因此用的是最简单粗暴的组织方式：所有数据按照固定的大小分块，每一块赋予一个用于寻址的编号。以大家比较熟悉的机械硬盘为例，一块就是一个扇区，老式硬盘是512字节大小，新硬盘是4K字节大小。老式硬盘用柱面-磁头-扇区号（CHS，Cylinder-Head-Sector）组成的编号进行寻址，现代硬盘用一个逻辑块编号寻址（LBA，Logical Block Addressing）。所以，硬盘往往又叫块设备（Block Device）,当然，除了硬盘还有其它块设备，例如不同规格的软盘，各种规格的光盘，磁带等。

　　至于哪些块组成一个文件，哪些块记录的是目录/子目录信息，这是文件系统的事情。不同的文件系统有不同的组织结构，这个就不展开了。为了方便管理，硬盘这样的块设备通常可以划分为多个逻辑块设备，也就是我们熟悉的硬盘分区（Partition）。反过来，单个介质的容量、性能有限，可以通过某些技术手段把多个物理块设备组合成一个逻辑块设备，例如各种级别的RAID，JBOD，某些操作系统的卷管理系统（Volume Manager）如Windows的动态磁盘、Linux的LVM等。

块设备的使用对象除了传统的文件系统以及一些专用的管理工具软件如备份软件、分区软件外，还有一些支持直接读写块设备的软件如数据库等，但一般用户很少这样使用。

　　在网络存储中，服务器把本地的一个逻辑块设备——底层可能是一个物理块设备的一部分，也可能是多个物理块设备的组合，又或者多个物理块设备的组合中的一部分，甚至是一个本地文件系统上的一个文件——通过某种协议模拟成一个块设备，远程的客户端（可以是一台物理主机，也可以是虚拟机，某个回答所说的块设备是给虚拟机用是错误的）使用相同的协议把这个逻辑块设备作为一个本地存储介质来使用，划分分区，格式化自己的文件系统等等。这就是块存储，比较常见的块存储协议是iSCSI。

优点

  • 这种方式的好处当然是因为通过了Raid与LVM等手段，对数据提供了保护；
  • 可以将多块廉价的硬盘组合起来，称为一个大容量的逻辑盘对外提供服务，提高了容量；
  • 写入数据时，由于是多块磁盘组合出来的逻辑盘，所以几块硬盘可以并行写入的，提升了读写效率；
  • 很多时候块存储采用SAN架构组网，传输速度以及封装协议的原因，使得传输速度和读写效率得到提升

缺点

  • 采用SAN架构组网时，需要额外为主机购买光纤通道卡，还要购买光纤交换机，造价成本高；
  • 主机之间数据无法共享，在服务器不做集群的情况下，块存储裸盘映射给主机，在格式化使用后，对于主机来说相当于本地盘，那么主机A的本地盘根本不能给主机B去使用，无法共享数据
  • 不利于不同操作系统主机间的数据共享：因为操作系统使用不同的文件系统，格式化后，不同的文件系统间的数据是共享不了的。 例如一台win7，文件系统是FAT32/NTFS，而linux是EXT4，EXT4是无法识别NTFS的文件系统的

使用场景

  • docker容器、虚拟机磁盘存储分配。
  • 日志存储。
  • 文件存储。
  • …

典型设备

　　磁盘阵列、硬盘

典型存储方式

  • DAS（Direct Attach STorage）：是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通，需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操作系统，要存取彼此的资料，更是复杂，有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大，性能要求不高的环境下，可以说是一种应用较为早的技术实现。
  • SAN（Storage Area Network）：是一种用高速（光纤）网络联接专业主机服务器的一种储存方式，此系统会位于主机群的后端，它使用高速I/O 联结方式， 如 SCSI, ESCON 及 Fibre- Channels。一般而言，SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中，特点是代价高，性能好。例如电信、银行的大数据量关键应用。它采用SCSI 块I/O的命令集，通过在磁盘或FC（Fiber Channel）级的数据访问提供高性能的随机I/O和数据吞吐率，它具有高带宽、低延迟的优势，在高性能计算中占有一席之地，但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。

2.1.2 文件存储

　　文件存储的用户是自然人，最容易理解。计算机中所有的数据都是0和1，存储在硬件介质上的一连串的01组合对我们来说完全无法去分辨以及管理。因此我们用“文件”这个概念对这些数据进行组织，所有用于同一用途的数据，按照不同应用程序要求的结构方式组成不同类型的文件（通常用不同的后缀来指代不同的类型），然后我们给每一个文件起一个方便理解记忆的名字。而当文件很多的时候，我们按照某种划分方式给这些文件分组，每一组文件放在同一个目录（或者叫文件夹）里面，当然我们也需要给这些目录起一个容易理解和记忆的名字。而且目录下面除了文件还可以有下一级目录（称之为子目录或者子文件夹），所有的文件、目录形成一个树状结构。我们最常用的Windows系统中，打开资源管理器就可以看到以这种方式组织起来的无数个文件和目录。

　　为了方便查找，从根节点开始逐级目录往下，一直到文件本身，把这些目录、子目录、文件的名字用特殊的字符（例如Windows/DOS用“\”，类Unix系统用“/”）拼接起来，这样的一串字符称之为路径，例如Linux中的“/etc/systemd/system.conf”或者Windows中的“C:\Windows\System32\taskmgr.exe”。人类用路径作为唯一标识来访问具体的文件。而由作为自然人的程序员所编写的各种软件程序，绝大部分也使用这种方式来访问文件。

　　把存储介质上的数据组织成目录-子目录-文件这种形式的数据结构，用于从这个结构中寻找、添加、修改、删除文件的程序，以及用于维护这个结构的程序，组成的系统有一个专用的名字：文件系统（File System）。文件系统有很多，常见的有Windows的FAT/FAT32/NTFS，Linux的EXT2/EXT3/EXT4/XFS/BtrFS等。而在网络存储中，底层数据并非存储在本地的存储介质，而是另外一台服务器上，不同的客户端都可以用类似文件系统的方式访问这台服务器上的文件，这样的系统叫网络文件系统（Network File System），常见的网络文件系统有Windows网络的CIFS（也叫SMB）、类Unix系统网络的NFS等。而文件存储除了网络文件系统外，FTP、HTTP其实也算是文件存储的某种特殊实现，都是可以通过某个url来访问一个文件。

优点

  • 造价低：随便一台机器就可以，另外普通的以太网就可以，根本不需要专用的SAN网络，所以造价低
  • 方便文件共享

缺点

  • 读写速率低，传输速率慢：以太网，上传下载速度较慢
  • 所有读写都要1台服务器里面的硬盘来承受，相比起磁盘阵列动不动就十几上百块硬盘同时读写，速率慢了许多。

使用场景

  • 日志存储。
  • 有目录结构的文件存储。
  • …

典型设备

　　FTP、NFS服务器

典型存储方式

  • 通常，NAS产品都是文件级存储。NAS（Network Attached Storage）：是一套网络储存设备，通常是直接连在网络上并提供资料存取服务，一套 NAS 储存设备就如同一个提供数据文件服务的系统，特点是性价比高。例如教育、政府、企业等数据存储应用。它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

2.2.2 对象存储

　　之所以出现对象存储这种东西，是为了克服块存储与文件存储各自的缺点，发扬各自的优点。简单来说块存储读写快，不利于共享，文件存储读写慢，利于共享。能否弄一个读写块，利于共享的存储出来呢？于是就有了对象存储。

一个文件包含了属性（术语：metadata，元数据，例如该文件的大小、修改时间、存储路径等）以及内容（数据）。
像FAT32这种文件系统，是直接将一份文件与metadata一起存储的，存储过程先将文件按照文件系统的最小块大小来打散（例如4M的文件，假设文件系统要求一个块4K，那么就将文件打散称为1000个小块），再写进硬盘里，过程中没有区分数据和metadata的。而每个块最后会告知你下一个要读取的块地址，然后一直这样顺序的按图索骥，最后完成整份文件的所有块的读取。
这种情况下读写速率很慢，因为就算你有100个机械臂在读写，但是由于你只有读取到第一个块，才能知道下一个块在哪里，其实相当于只能有1个机械臂在实际工作。

　　而对象存储则将元数据独立出来了，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息）而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪里OSD，假设反馈文件A存储在B、C、D三台OSD，那么用户就会再次直接访问3台OSD服务器去读取数据。
这时候由于是3台OSD同时对外传输数据，所以传输的速度就会加快了，当OSD服务器数量越多，这种读写速度的提升就越大，通过此种方式，实现了读写快的目的。
另一方面，对象存储软件是有专门的文件系统的，所以OSD对外又相当于文件服务器，那么就不存在共享方面的困难了，也解决了文件共享方面的问题
所以对象存储的出现，很好的结合了块存储和文件存储的优点。

为什么对象存储兼具块存储和文件存储的好处，还要使用块存储和文件存储呢？

  1. 有一类应用是需要存储直接裸盘映射的，例如数据库。因为数据需要存储楼盘映射给自己后，再根据自己的数据库文件系统来对裸盘进行格式化的，所以是不能够采用其他已经被格式化为某种文件系统的存储的。此类应用更合适使用块存储。
  2. 对象存储的成本比起普通的文件存储还要较高，需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量，只是为了做文件共享的时候，直接用文件存储的形式好了，性价比高。

优点

  • 具备块存储的读写高速。
  • 具备文件存储的共享等特性。
  • 可扩展性高：对象存储能够扩展数十乃至数百EB的容量，能够充分利用高密度存储；
  • 效率高：扁平化结构，不受复杂目录系统对性能的影响；
  • 无需迁移：对象存储是一种横向扩展系统，随着容量的增加，数据根据算法自动分布于所有的对象存储节点；
  • 安全性高：对象存储通常凭借HTTP调用对象存储本身提供的认证密钥来提供数据访问；
  • 访问方便：不光支持HTTP(S)协议，采用REST的API方式调用和检索数据，同样增加了NFS和SMB支持；
  • 成本相对低：与块存储方式相比，对象存储是最具成本效益的数据存储类型，并且与云计算搭配，把对象存储的这一特性发挥的淋漓尽致。

缺点

  • 最终一致性：由于不同节点的位置不同，数据同步时可能会有一定时间的延迟或者错误；
  • 不易做数据库：对象存储比较适合存储那些变动不大甚至不变的文件，而对于像数据库这种需要直接与存储裸盘相互映射的应用，还是块存储更合适。

使用场景

对象存储服务OSS（英文Object Storage Service）主要应用于以下场景。

  • 图片和音视频等应用的海量存储。OSS可用于图片、音视频、日志等海量文件的存储。各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式
  • 网页或者移动应用的静态和动态资源分离。利用BGP带宽，OSS可以实现超低延时的数据直接下载。也可以配合阿里云CDN加速服务，为图片、音视频、移动应用的更新分发提供最佳体验
  • 云端数据处理。上传文件到OSS后，可以配合媒体转码服务(MTS)和图片处理服务（IMG）进行云端的数据处理。
  • 典型设备

　　内置大容量硬盘的分布式服务器。对象存储最常用的方案，就是多台服务器内置大容量硬盘，再装上对象存储软件，然后再额外搞几台服务作为管理节点，安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。

2.2 minio

　　MinIO 是一款高性能、分布式的对象存储系统. 它是一款软件产品, 可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。

　　MinIO与传统的存储和其他的对象存储不同的是：它一开始就针对性能要求更高的私有云标准进行软件架构设计。因为MinIO一开始就只为对象存储而设计。所以他采用了更易用的方式进行设计，它能实现对象存储所需要的全部功能，在性能上也更加强劲，它不会为了更多的业务功能而妥协，失去MinIO的易用性、高效性。 这样的结果所带来的好处是：它能够更简单的实现局有弹性伸缩能力的原生对象存储服务。

　　MinIO在传统对象存储用例（例如辅助存储，灾难恢复和归档）方面表现出色。同时，它在机器学习、大数据、私有云、混合云等方面的存储技术上也独树一帜。当然，也不排除数据分析、高性能应用负载、原生云的支持。

 

posted @ 2022-12-16 14:55  玻璃公主  阅读(830)  评论(0)  编辑  收藏  举报