摘要: spark streaming是基于微批处理的流式计算引擎,通常是利用spark core或者spark core与spark sql一起来处理数据。在企业实时处理架构中,通常将spark streaming和kafka集成作为整个大数据处理架构的核心环节之一 阅读全文
posted @ 2020-10-22 20:22 大数据学习与分享 阅读(509) 评论(0) 推荐(0) 编辑
摘要: Yarn(Yet Another Resource Negotiator)是一个资源调度平台,负责为运算程序如Spark、MapReduce分配资源和调度,不参与用户程序内部工作。同样是Master/Slave架构 阅读全文
posted @ 2020-10-22 13:08 大数据学习与分享 阅读(540) 评论(0) 推荐(0) 编辑