10 2020 档案

摘要:1 增加参数 来控制消费次数 ,根据情况选择合适的参数即可,我这里修改为了10000. 不设置的话,默认是拉取全部的数据,有可能引起内存溢出或者任务失败等问题。 .config("spark.streaming.kafka.maxRatePerPartition", 10000) 阅读全文
posted @ 2020-10-27 16:23 Questions张 阅读(1375) 评论(0) 推荐(0) 编辑
摘要:1 因为内存溢出问题导致yarn ResourceManager无法启动,多次重启仍然失败 2 查询到原因是因为重启rm的时候,会尝试恢复之前所有的yarn任务,但是之前内存溢出的原因就是因为yarn任务的内存压力过大导致。所以不断重启也没用。 3 解决方案,进入zookeeper控制台,找到保存y 阅读全文
posted @ 2020-10-27 15:18 Questions张 阅读(1484) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示