DataHub使用小结(一)——概述
一、概念
1.什么是DataHub
DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能
在订阅-发布功能中,订阅者订阅自己感兴趣的数据,发布者发布到中间channel,发布-订阅彼此不知道对方的存在
可以轻松构建基于流式数据的分析和应用。
主要可以进行流处理应用以及流数据归档(归档到maxcomputer)
2.基本概念
Project:项目,一个项目包含多个topic,是DataHub数据组成的基本单位
Topic:主题,数据分发的基本单位,用来表示一类数据(类似表),相应的有Topic Lifecycle表示topic的生命周期
Shard:数据传输通道,每个shard都有自己的ID,并且会占用服务端资源,按需使用
Recode:数据传输的基本单位