Spark 向数据库导出数据时,如何避免主键重复的问题
有一个需求是: 最近一小时内商品的点击次数
方案是用SparkStreaming 来做,利用窗口可以轻松达到目的,然后再将结果存入数据库,可问题就出现了,因为商品id为主键,这是不能重复的,如何更新呢?这就要用到以下的sql
"insert into ads_hour values(?, ?) on duplicate key update count=?"
on duplicate key update 意为 如果主键存在则更新
有一个需求是: 最近一小时内商品的点击次数
方案是用SparkStreaming 来做,利用窗口可以轻松达到目的,然后再将结果存入数据库,可问题就出现了,因为商品id为主键,这是不能重复的,如何更新呢?这就要用到以下的sql
"insert into ads_hour values(?, ?) on duplicate key update count=?"
on duplicate key update 意为 如果主键存在则更新