会员
商店
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
来自遥远的水星
博客园
首页
新随笔
管理
随笔 - 109
文章 - 0
评论 - 5
阅读 -
94458
10 2020 档案
大数据经典博客文章收集
该文被密码保护。
posted @
2020-10-14 09:24
来自遥远的水星
阅读(0)
评论(0)
推荐(0)
编辑
SparkStreaming消费Kafka,手动维护Offset到Mysql
摘要:说明 当前处理只实现手动维护offset到mysql,只能保证数据不丢失,可能会重复 要想实现精准一次性,还需要将数据提交和offset提交维护在一个事务中 官网说明 Your own data store For data stores that support transactions, sav
阅读全文
posted @
2020-10-13 15:53
来自遥远的水星
阅读(986)
评论(0)
推荐(0)
编辑
<
2025年3月
>
日
一
二
三
四
五
六
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
积分与排名
积分 - 81548
排名 - 19955
随笔分类
Azkaban(2)
Elasticsearch(1)
Flink(10)
Flume(5)
Git(1)
Hadoop(9)
Hbase(6)
HDFS(6)
Hive(15)
Java(9)
Kafka(3)
Linux(3)
MapReduce(2)
Maven(2)
mysql(1)
Redis(1)
Scala(14)
Spark(23)
SparkSql(7)
Sqoop(1)
YARN(2)
Zookeeper(1)
软件工具(4)
数据仓库(4)
随笔档案
2022年8月(2)
2022年7月(2)
2022年6月(3)
2021年8月(1)
2021年7月(2)
2021年6月(1)
2021年5月(2)
2021年4月(3)
2020年12月(2)
2020年10月(2)
2020年9月(9)
2020年8月(18)
2020年7月(37)
2020年6月(23)
2019年5月(1)
阅读排行榜
1. Scala【json字符串和json对象互相转换】(8096)
2. Hive(二)【数据类型、类型转换】(6229)
3. Yarn【架构、原理、多队列配置】(5605)
4. Spark(一)【spark-3.0安装和入门】(4475)
5. Hive(十三)【Hive on Spark 部署搭建】(3611)
点击右上角即可分享