10 2020 档案
摘要:1 增加参数 来控制消费次数 ,根据情况选择合适的参数即可,我这里修改为了10000. 不设置的话,默认是拉取全部的数据,有可能引起内存溢出或者任务失败等问题。 .config("spark.streaming.kafka.maxRatePerPartition", 10000)
阅读全文
摘要:1 因为内存溢出问题导致yarn ResourceManager无法启动,多次重启仍然失败 2 查询到原因是因为重启rm的时候,会尝试恢复之前所有的yarn任务,但是之前内存溢出的原因就是因为yarn任务的内存压力过大导致。所以不断重启也没用。 3 解决方案,进入zookeeper控制台,找到保存y
阅读全文