摘要：今天老大提醒我产线kafka自身的log文件积累了好几个月了，我才发现原来kafka的log4j并删除old log。 第一反应是采用linux自带的logrotate功能，在/etc/logrotate.d下面建一个文件写入： /opt/kafka_2.11-0.9.0.0/logs/*.log* 阅读全文

摘要：最近计划看看elasticsearch的源码，首先得把local debug环境搞定。 下载源码。因为公司产线是5.6.5，所以就下载了5.6.5的代码。 源码编译。先进入到/elasticsearch/core目录，因为IDE是idea，所以用gradle idea编译core目录。然后进入到/e 阅读全文

摘要：整个2017年都在搞大数据平台，完全远离了机器学习，甚至都不记得写过类似ETL的job。 从数据到平台，从业务处理到基础服务。 Metrics的收集，报警，生成报表。Data pipeline的准确性，性能。Job的提交，资源分配。分布式组件的部署，运维。 同时也参与了一个portal的开发，管理分 阅读全文