摘要：如果将spark内task实时的吞吐量汇报到driver中,实现对spark应用的一个限流,这是非常困难的,成本也是非常高的. datastax在单个task中实现限流,具体逻辑在RateLimiter batchSize/rate得出需要运行的单个批次需要运行的时间t,睡眠 t秒之后,才执行一个批 阅读全文