2020年8月12日
Spark算子选择策略
摘要： 摘要 1.使用reduceByKey/aggregateByKey替代groupByKey 2.使用mapPartitions替代普通map 3.使用foreachPartitions替代foreach 4.使用filter之后进行coalesce操作 5.使用repartitionAndSortW 阅读全文
posted @ 2020-08-12 11:36 睡觉了嘛 阅读(95) 评论(0) 推荐(0) 编辑
spark常见错误汇总
摘要： 原文地址：https://my.oschina.net/tearsky/blog/629201 摘要： 1、Operation category READ is not supported in state standby 2、配置spark.deploy.recoveryMode选项为ZOOKEE 阅读全文
posted @ 2020-08-12 11:18 睡觉了嘛 阅读(276) 评论(0) 推荐(0) 编辑
kafka常用系统命令-1
摘要： 1. 查看所有topic /bin/kafka-topics.sh --zookeeper ip:端口 --list 2. 查看topic最新偏移量 bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ip:端口 --top 阅读全文
posted @ 2020-08-12 11:02 睡觉了嘛 阅读(155) 评论(0) 推荐(0) 编辑