yangyang12138

导航

storm

1.bolbstore
定义了bolb的存储,以文件的形式存储,主要实现类包括LocalFsBlobStore 本地文件存储,和HDFSBlobStore
2.cluster
主要定义了状态的存储,IStateStorage主要实现类是zk的方式实现,主要用于记录commpent的状态如ack,rollback
3.daemon
守护进程Supervisor,每个Supervisor下有若干个Slot,每个slot通过监视blob来启动Container,Container下会启动worker
4.messaging
主要定义了节点间的连接,work会带有Context,context本身有一个Server,和若干个client连接,client用于连接上游获取数据,client和server有很多子类实现,其中包括netty和kerbros的
5.localizer
主要定义了ILocalizer,用于从store中获取blob
6.multilang
主要用于多语言支持,通过shellSpout,通过shell标准输出读取到数据写入context,这里主要定义了消息格式
7.security
认证功能,INimbusCredentialPlugin用于完成topology认证,ITransportPlugin用于服务之间获取链接时的认证。通过此plugin获取的就是相互认证的服务,IAutoCredentials用于从请求中解析出认证信息,IAuthorizer用于确认权限
8.serialization
主要定义了序列化的一些类
9.spout
数据的起点,ISPout用于发出数据,以及state,用于记录当前节点的状态,CheckpointSpout用于控制整个流程的状态检查。

posted on 2023-03-09 02:24  杨杨09265  阅读(17)  评论(0编辑  收藏  举报