随笔分类 - bigdata
大数据
摘要：近期随着业务消息量增大，现网几套kafka集群频繁收到under repliacted告警，集合近期定位分析过程，主要有以下几个方面：1. 查看是否有主机挂掉，或近期是否有主机重启，通过kafdrop查看started时间，若有异常重启，需要分析日志定位原因；2. 使用kafdrop可以对分区副本情
阅读全文
摘要：Yarn 常用命令(开发重点) Yarn状态的查询，除了可以在hadoop103:8088页面查看外，还可以通过命令操作 需求:执行WordCount案例，并用Yarn命令查看任务运行情况 //启动集群命令 [ranan@hadoop102 ~]$ myhadoop.sh start //执行命令，
阅读全文
摘要：在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets）
阅读全文
