数据处理

一、缓存

Redis

Redis 是一个开源的、基于键值对的数据结构存储系统。

Redis可以大幅提高应用的响应速度，因为相比从磁盘读取数据，从内存中读取数据的速度要快得多。

二、持久化

MySQL、MongoDB

三、数仓 

数据仓库 是一种用于报告和数据分析的系统，它将来自不同源的数据集成到一个中心存储区。

与面向事务处理的数据库（如MySQL）不同，数据仓库更侧重于数据的分析和报表生成，支持复杂的查询和大数据量处理。

常见的数据仓库解决方案包括Hadoop、Google BigQuery、Amazon Redshift等。数据仓库有助于企业做出基于数据的决策。

应用场景：

• 企业级报表和BI（商业智能）。
• 大规模数据分析和数据挖掘。
• 预测分析和趋势发现。
• 客户行为分析、市场研究。

成熟的数据仓库（Data WareHouse ）：

云端：

Amazon Redshift、Google BigQuery、Azure Synapse Analytics 、Snowflake

Teradata、IBM Db2 Warehouse、Oracle Exadata、Microsoft SQL Server

开源数据仓库:

Apache Hive、ClickHouse、Greenplum

四、Elasticsearch（ES）

Elasticsearch 是一个分布式的、RESTful风格的搜索引擎。它能够实时地分析和搜索大量数据，特别适合日志数据分析、全文检索和复杂的数据探索任务。Elasticsearch基于Lucene库构建，提供了一个易于使用的HTTP API和强大的查询语言，使得用户可以快速地存储、搜索和分析数据。

如果你的应用需要高性能的全文搜索或者需要对日志数据进行实时分析，ES是一个很好的选择。

• 数据可视化：与Kibana集成，方便数据可视化和仪表板构建。

Elasticsearch和Kibana是强大的数据搜索、分析和可视化工具，适用于多种应用场景。Elasticsearch通过其分布式架构和实时搜索能力处理大规模数据，而Kibana通过丰富的可视化组件和交互式界面帮助用户直观地分析和展示数据。它们常与Logstash一起构成ELK Stack，广泛用于日志管理、实时数据分析和业务智能应用。

五、OSS（OSS - Object Storage Service）

对象存储服务（OSS） 是一种云存储服务，用于存储和检索任意类型的数据对象（如图片、视频、文档等）。与传统的文件存储不同，对象存储不使用文件系统层次结构，而是通过唯一的ID（通常是URL）来访问数据对象。阿里云OSS、Amazon S3是这类服务的代表。它非常适合大规模、非结构化数据的存储，常用于内容分发网络（CDN）、备份和归档、大数据存储等场景。

六、BI

吐血测评九款 BI 工具，BI 选型就看这篇（Tableau vs PowerBI vs superset vs DataEase vs ……）

如何选择BI工具：Power BI“向左”，Tableau“向右”

 

开源：

DataEase（国内）：https://www.fit2cloud.com/dataease/index.html

国外：SuperSet、Metabase

付费：

• Power BI：微软。提供免费版本和付费版本（Power BI Pro和Power BI Premium）；

• Tableau：Tableau Software（现为Salesforce旗下）。免费版：Tableau Public 。https://www.tableau.com/zh-cn/support/help。

• 帆软（FineReport/FineBI）：（www.finebi.com/）国内非开源的数据分析产品。