摘要: 业务场景: 现在项目中需要通过对spark对原始数据进行计算,然后将计算结果写入到mysql中,但是在写入的时候有个限制: 1、mysql中的目标表事先已经存在,并且当中存在主键,自增长的键id 2、在进行将dataFrame写入表的时候,id字段不允许手动写入,因为其实自增长的 要求: 1、写入数 阅读全文
posted @ 2019-04-14 17:31 郭小白 阅读(8358) 评论(0) 推荐(0) 编辑
摘要: 引言: spark项目中通常我们需要将我们处理之后数据保存到文件中,比如将处理之后的RDD保存到hdfs上指定的目录中,亦或是保存在本地 spark保存文件: 1、rdd.saveAsTextFile("file:///E:/dataFile/result") 2、rdd.saveAsHadoopF 阅读全文
posted @ 2019-04-14 16:39 郭小白 阅读(13476) 评论(0) 推荐(4) 编辑