摘要: 中国民生银行天眼日志平台架构演进的平凡之路 对于一个简单的日志应用场景,通常会准备 master/slave 两个应用。我们只需运行一个 Shell 脚本,便可查看是否存在错误信息。随着业务复杂度的增加,应用场景也会变得复杂。虽然监控系统能够显示某台机器或者某个应用的错误。然而在实际的生产环境中,由 阅读全文
posted @ 2019-06-14 10:05 New-s 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 微店大数据开发平台架构演进 为什么需要大数据开发平台? 微店在16年4月份之前,数据开发流程基本是这样的: 开发人员通过公共账号登录安装了Hive、Hadoop客户端的gateway机器;编写自己的脚本,调试代码,完成后通过crontab配置脚本定时执行;为了防止脚本被其他同事修改,一些谨慎的同事会 阅读全文
posted @ 2019-06-14 10:04 New-s 阅读(175) 评论(0) 推荐(0) 编辑