2020年2月11日
大数据学习day33----spark13-----1.两种方式管理偏移量并将偏移量写入redis 2. MySQL事务的测试 3.利用MySQL事务实现数据统计的ExactlyOnce（sql语句中出现相同key时如何进行累加（此处时出现相同的单词））4 将数据写入kafka
摘要： 1.两种方式管理偏移量并将偏移量写入redis （1）第一种：rdd的形式 一般是使用这种直连的方式，但其缺点是没法调用一些更加高级的api，如窗口操作。如果想更加精确的控制偏移量，就使用这种方式 代码如下 KafkaStreamingWordCountManageOffsetRddApi pack 阅读全文
posted @ 2020-02-11 23:12 一y样 阅读(438) 评论(0) 推荐(0) 编辑