上一页 1 2 3 4

2019年2月2日

亿级 ELK 日志平台构建部署实践

摘要： 本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说，老司机们座好了，我们准备发车了~~~ 整体架构 整体架构主要分为 4 个模块，分别提供不同的功能 Filebeat： 阅读全文

posted @ 2019-02-02 13:52 大数据运维 阅读(294) 评论(0) 推荐(0) 编辑

从 ELK 到 EFK 的演进

摘要： 背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循 阅读全文

posted @ 2019-02-02 13:51 大数据运维 阅读(475) 评论(0) 推荐(0) 编辑

2019年1月31日

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

摘要： 一、环境及软件准备 1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15 ambari server 是 否 否 否 否 ambari agent 是 是 是 是 是 namenode 是 阅读全文

posted @ 2019-01-31 17:49 大数据运维 阅读(9008) 评论(1) 推荐(0) 编辑

2019年1月11日

完整版的OpenLDAP搭建全过程

摘要： 总结： 先写总结，再写正文，嘿嘿嘿。这还是第一次认真的写个文档，写个总结，哈哈。大概在一个月前，第一次听说这个东西，完全没有概念，刚开始的时候看理论的知识，看了几次之后就没看了，看不懂啊。太抽象了，真的太抽象了。然后就把它晾在一边了，又过了一段时间，想了想，既然知道了这个东西，还是得好好学学，好好了 阅读全文

posted @ 2019-01-11 11:37 大数据运维 阅读(2004) 评论(1) 推荐(0) 编辑

2018年12月21日

测试Linux下tcp最大连接数限制

摘要： 现在做服务器开发不加上高并发根本没脸出门，所以为了以后吹水被别人怼“天天提高并发，你自己实现的最高并发是多少”的时候能义正言辞的怼回去，趁着元旦在家没事决定自己写个demo搞一搞。 这个测试主要是想搞明白Linux下哪些参数配置限制了连接数的最大值，上限是多少。 一、先说下demo的思路： 服务端用 阅读全文

posted @ 2018-12-21 15:30 大数据运维 阅读(1997) 评论(1) 推荐(0) 编辑

上一页 1 2 3 4

导航