会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
落霞与孤鹜齐飞
中山桥砖厂搬砖者
博客园
首页
新随笔
联系
订阅
管理
2020年2月12日
sparkStreaming实时数据处理的优化方面
摘要: 1.并行度 在direct方式下,sparkStreaming的task数量是等于kafka的分区数,kakfa单个分区的一般吞吐量为10M/s 常规设计下:kafka的分区数一般为broken节点的3,6,9倍比较合理 比如我的集群有6个broken节点,创建kafka的分区为18个,sparkS
阅读全文
posted @ 2020-02-12 16:42 夜半钟声到客船
阅读(1822)
评论(0)
推荐(0)
编辑
公告