摘要: Hadoop是一个分布式计算框架,用于存储和处理大规模数据集。 首先搞清楚为什么需要使用Hadoop Hadoop进行数据处理可以充分利用分布式计算和存储的优势,适用于大规模数据的批处理和分布式计算场景。 裸机上进行数据处理则更适合小规模数据或需要实时处理的场景。 在裸机上进行数据处理和使用Hado 阅读全文
posted @ 2023-10-20 17:09 zhenjingcool 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 官网:https://kafka.apache.org/ Kafka是一个分布式事件流平台 1 介绍 核心特性:高吞吐量、弹性、持久化存储、高可用 事件流类似人类的中枢神经系统。越来越多的业务被软件实现和自动化,在此种情况下软件的用户还是软件。技术上讲,事件流就是实时的从事件源(数据库,传感器,移动 阅读全文
posted @ 2023-10-20 09:11 zhenjingcool 阅读(6) 评论(0) 推荐(0) 编辑