随笔分类 - 架构
摘要：流水查询需求 需求第一期： 基于TB级的在线数据，支持缴费帐单明细在线查询。大家都知道，像银行帐单流水一样，查几年的流水是常有的事。 支持的维度查询：帐期、欠费状态、日期范围、费用科目类型、房屋分类、房屋所属项目、关联合同信息、统计列 什么是实时数据 实时可以分为：实时采集、实时计算、高性能，底延时
阅读全文
摘要：基于上一篇《微服务海量日志监控平台》介绍的平台架构，继续架构的优化和能功的扩展，实现服务治理能力。 问题现状态 日志监控平台为我们带来了很多排查解决线上问题的便利。但是从某种程度上讲，只为我们提供了线索，最终的排查和解决还是需要人工去执行参与，所以从运维角度上说，并没有帮助解决问题。由于采集覆盖面和
阅读全文
摘要：往大数据方向发展需要学哪些技术？网上一搜真是指不胜屈。对于小白来说，实在是一头雾水，到底哪些是当下流行的？哪些是必须要先学会的？流行？主次搞不清。为了解决这些疑惑，羚羊专门花了些时间， 挨个技术去研究对比归类，大概总结出以下的技术点： 文件存储： Hadoop HDFS、GFS、KFS、Tachyo
阅读全文
摘要：前面几章蜻蜓点水的介绍了elasticsearch、apm相关的内容。本片主要介绍怎么使用ELK Stack帮助我们打造一个支撑起日产TB级的日志监控系统 背景 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，
阅读全文
