毛小娃

摘要： 最近想升级mesos0.23.0,结果编译mesos0.23.0需要gcc4.8+，可是centOS6.6最高版本的gcc也只到4.4.7版本,只好手动升级一下了。下载4.8.2源码wget ftp://gcc.gnu.org/pub/gcc/releases/gcc-4.8.2/... 阅读全文

摘要： Producer最简配置 metadata.broker.list参数指定broker地址，这里不需要填上所有的broker地址，但是如果只写一个，这个broker挂掉后就无法往topic中写入信息，一般写入2-3个broker地址。 serializer.class指定序列化的方... 阅读全文

摘要： 虽然spark master挂掉的几率很低，不过还是被我遇到了一次。以前在spark standalone的文章中也介绍过standalone的ha,现在详细说下部署流程，其实也比较简单。一.机器zookeeper集群zk1:2181zk2:2181zk3:2181spark ma... 阅读全文

摘要： Redis监控工具,命令和调优1.图形化监控因为要对Redis做性能测试，发现了GitHub上有个python写的RedisLive监控工具评价不错。结果鼓捣了半天，最后发现其主页中引用了Google的jsapi脚本，必须在线连接谷歌的服务，Stackoverflow上说把js脚本... 阅读全文

摘要： 介绍zeppelin主要有以下功能数据提取数据发现数据分析数据可视化目前版本(0.5-0.6)之前支持的数据搜索引擎有如下安装环境 centOS 6.6编译准备工作 sudo yum updatesudo yum install openjdk-7-jdksudo yum ins... 阅读全文

摘要： 一些说明kafka0.8.2及以上版本已经支持delete命令删除topic，可是之前的版本要是想删除topic还是要费一番手脚，绝对是个体力活。。。该方法最好仅在线下开发环境中使用，毕竟要重启zookeeper和broker步骤1.在zk中删除topic信息(test)$KAFK... 阅读全文

摘要： 问题先前存储kafka日志的磁盘空间太小，zabbix警报不断，于是加了磁盘，将日志存到新磁盘上。解决方案依次在每台机器上操作，保证有机器能响应producer和consumer的操作。 加磁盘需要重启服务器。1. 拷贝日志服务器启动后，将以前的日志拷贝到新目录cp /data/k... 阅读全文

摘要： 问题这个错误出现在case class参数超出22个的时候。case classes cannot have more than 22 parameters在scala 2.11.x版本以下时case class 的参数最多为22个，如果超过这个参数又不能升级时(比如目前spark... 阅读全文

摘要： 不觉间已经工作六年，回想第一天实习的场景历历在目、恍若昨日。六年已足以令许多人转管理、转产品、转测试、转行，也一定有人还在坚守着编码，只因热爱。遇到过形形色色的经理、架构师、运维、性能工程师等等，还是觉得写代码的才是最厉害的！在这里分享一些这些年来修习到的个人心得。也许并不适用于其... 阅读全文

摘要： 系统环境opscenter 5.2 centOS 6.6 cassandra 2.0.x问题opscenter上的dashboard监控cassandra集群一段时间（大约1天）后总会停止显示。然而在cassandra节点上发现datastax-agent进程还是好好的在运行着。之... 阅读全文