01 2017 档案

zookeeper删除kafka元数据
摘要：问题：卸载kafka前未删除kafka topic,重新安装kafka后，生成跟之前topic名字相同的topic时报错，显示topic已存在 原因：kafka topic的元数据存储在zookeeper里，卸载kafka前未删除topic,之前topic的元数据仍存在zk里，需要手动删除zk里的元 阅读全文

posted @ 2017-01-16 13:58 XIAO的博客 阅读(7558) 评论(0) 推荐(0) 编辑

部署开启了Kerberos身份验证的大数据平台集群外客户端
摘要：转载请注明出处 ：http://www.cnblogs.com/xiaodf/ 本文档主要用于说明，如何在集群外节点上,部署大数据平台的客户端，此大数据平台已经开启了Kerberos身份验证。通过客户端用户在集群外就可以使用集群内的服务了，如查询集群内的hdfs数据，提交spark任务到集群内执行等 阅读全文

posted @ 2017-01-12 17:23 XIAO的博客 阅读(4080) 评论(0) 推荐(0) 编辑

Kafka consumer处理大消息数据问题
摘要：案例分析 处理kafka consumer的程序的时候，发现如下错误： 如上log可以看出，问题就是有一个较大的消息数据在codeTopic的partition 3上，然后consumer未能消费，提示我可以减小broker允许进入的消息数据的大小，或者增大consumer程序消费数据的大小。 从l 阅读全文

posted @ 2017-01-12 13:04 XIAO的博客 阅读(18287) 评论(0) 推荐(3) 编辑

yarn队列提交spark任务权限控制
摘要：转载请注明出处 ：http://www.cnblogs.com/xiaodf/ "1 CapacityScheduler" "1.1 模型介绍" "1.2 资源分配相关参数" "1.3 限制应用程序数目相关参数" "1.4 队列访问和权限控制参数" "2 线上实例" "2.1 配置" "2.1.1 阅读全文

posted @ 2017-01-09 18:17 XIAO的博客 阅读(27192) 评论(0) 推荐(0) 编辑

导航

统计

点击右上角即可分享
微信分享提示