随笔分类 -  大数据基础服务搭建

【基础】系统各种资源调用延迟一览
摘要：我们对于IO的理解必须是建立在对各种硬件资源调用延迟的认识基础上的，不同的延迟和使用场景造就了不同的架构。时间单位：1分(m)=60秒(s)1毫秒(ms)=10^(-3)秒(s)1微秒(μs)=10^(-6)秒(s)1纳秒(ns)=10^(-9)秒(s)1皮秒(ps)=10^(-12)秒(s)1个C... 阅读全文
posted @ 2015-12-08 15:08 花考拉 阅读(705) 评论(0) 推荐(0) 编辑
【监控】一些关于应用级别监控的总结
摘要：1. 采集多样化的必要性，通俗的说就是把软硬件的指标放在一起去比较。 有时候我们关注应用的运行状态不仅仅要采集应用的各项指标，有时候还需要了解同一时间该应用运行环境（容器、虚拟机、硬件）的关键指标。然而应用层与其运行环境本身异构，所以采集工具并不相同。比如，我们用openTSDB去监控我的一个we... 阅读全文
posted @ 2015-12-04 20:09 花考拉 阅读(1443) 评论(0) 推荐(0) 编辑
【监控】WebServer入库与缓存更新代码优化小计
摘要：问题描述： 通过WebServer将监控数据入库到Hbase，在入库之前需要将指标与ip的列表更新到缓存中，以便前台页面随时选择查看。前两天上了一些新用户导致负载增加，逐渐发现某些用户的监控场景出现丢数据的情况，估计Tps要在1w以上。丢数据会导致前段曲线毛刺增加，体验极差，所以优化WebServ... 阅读全文
posted @ 2015-03-26 19:57 花考拉 阅读(359) 评论(0) 推荐(0) 编辑
【监控】天机镜——优土大数据平台应用级别监控利器
摘要：上古十大神器之一天机镜：天机镜又名昆仑镜。昆仑山西王母所有，能洞察天机，知晓古今！1. 动机 在业务系统开发的前期，我们往往只专注到业务逻辑，而忽略了对系统本身的监控。 对硬件资源的监控运维同学提供的ganglia以及ZENOSS 能很好的满足我们的需求，监控机器的磁盘、cpu负载，内存，load... 阅读全文
posted @ 2015-03-12 21:21 花考拉 阅读(2370) 评论(4) 推荐(1) 编辑
【监控】数据平台运营实战之如何打造应用级别的监控系统
摘要：本文介绍了如何设计监控系统的客户端包、后端服务以及存储的解决方案。 传统IT公司可能最核心的应用就是Web服务器和各种Web应用。得益于开源系统以及大数据理念的盛行，大大小小的公司逐渐形成了数据采集、存储、计算一体化的相似而又不同的架构。而在这些架构之上，我们可以丰富自己主营业务或者产品线的各... 阅读全文
posted @ 2015-01-29 20:05 花考拉 阅读(3186) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示