2019年10月17日

spark streaming kafka消费多个topic时不执行的问题

摘要: 通过断点跟进,发现每个topic的数据都是可以去到的,但最后会阻塞在DataFrame的落地操作执行上; 如: 仔细观察日志能够发现类型:INFO scheduler.JobScheduler: Added jobs for time ××××× 的日志; 原因:Receiver运行线程不够用 解决 阅读全文

posted @ 2019-10-17 17:45 mylittlecabin 阅读(1765) 评论(0) 推荐(0) 编辑

spark创建DataFrame时将字符串转换为日期

摘要: 两个思路 1、在构建Row的时候将字段值转换为java.sql.Date或者java.sql.Timestamp类型 2、构建完DataFrame后,使用withColumn方法更新转换字段类型,此方法会转换数据类型同步修改DataFrame的schema 参考:https://stackoverf 阅读全文

posted @ 2019-10-17 15:30 mylittlecabin 阅读(2838) 评论(0) 推荐(0) 编辑

导航