Spark 向数据库导出数据时,如何避免主键重复的问题

有一个需求是: 最近一小时内商品的点击次数

方案是用SparkStreaming 来做,利用窗口可以轻松达到目的,然后再将结果存入数据库,可问题就出现了,因为商品id为主键,这是不能重复的,如何更新呢?这就要用到以下的sql

"insert into ads_hour values(?, ?) on duplicate key update count=?"

on duplicate key update  意为  如果主键存在则更新

posted @ 2020-05-19 20:12  可以看看你胖次吗  阅读(677)  评论(0编辑  收藏  举报
Live2D