05 2018 档案
摘要：之前的文档介绍了ELK架构的基础知识，日志集中分析系统的实施方案：- ELK+Redis- ELK+Filebeat - ELK+Filebeat+Redis- ELK+Filebeat+Kafka+ZooKeeper ELK进一步优化架构为EFK，其中F就表示Filebeat。Filebeat即是
阅读全文
摘要：Docker-Compose是一个部署多个容器的简单但是非常必要的工具.安装Docker-Compose之前，请先安装 python-pip Docker-compose常用命令
阅读全文
摘要：比如现在需要对172.16.50.0/24网段的ip进行检查，检查哪些ip现在被占用，哪些ip没有被占用，可以通过ping命令来检查，脚本如下:
阅读全文
摘要：最近IDC上架了一批hadoop大数据业务服务器，由于集群环境需要在这些服务器之间实现ssh无密码登录的相互信任关系。具体的实现思路：在其中的任一台服务器上通过"ssh-keygen -t rsa"产生公私钥文件，然后将公钥文件拷贝成authorized_keys文件，最后将它的.ssh目录下的文件
阅读全文
摘要：需求说明：公司最近来了一批服务器，用于大数据业务部署。数据节点服务器由14块物理磁盘，其中有2块是900G的盘，12块是4T的盘。在服务器系统安装时，进入系统的BIOS界面：1）将2块900G的磁盘做成raid1用作系统盘（顺便说一下：raid0最少需要1块磁盘；raid1最少需要2块磁盘；raid
阅读全文
摘要：下面测试的部署机ip地址为：192.168.10.2051）yum安装OpenLDAP 2）配置ldap，包括准备DB_CONFIG和slapd.conf 3）生成ldap管理员密码 4）修改slapd.conf，主要配置dc和rootpw，rootpw配置上面设置的密码（rootpw必须顶格写，与
阅读全文
摘要：在Linux系统中，curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载操作，是综合传输工具，习惯上称url为下载工具。下面就日常运维中基于curl命令使用做下总结（用法、详解、指南）： 一、Curl命令用法 1. curl语法和参
阅读全文
摘要：一、kafka基础介绍 0. kakfa概述 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）开源消息系统，由Scala写成，是由Apache软件基金会开发的一个开源消息系统项目，该项目的目标是为处理实时数据提供一个统一、高通量、
阅读全文
摘要：一、RocketMQ 基础知识介绍Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。 上图是一个典型的消息中间件收发消息的模型，RocketMQ也是这样的设计，简单说来RocketMQ具有以下特点：1）是一个队列模型的消息中间件，具有高性能、高可
阅读全文
摘要：Redis的集群方案大致有三种：1）redis cluster集群方案；2）master/slave主从方案；3）哨兵模式来进行主从替换以及故障恢复。 一、sentinel哨兵模式介绍Sentinel(哨兵)是用于监控redis集群中Master状态的工具，是Redis 的高可用性解决方案，sent
阅读全文
摘要：Keepalived 实现VRRP（虚拟路由冗余）协议，从路由级别实现VIP切换，可以完全避免类似heartbeat脑裂问题，可以很好的实现主从、主备、互备方案，尤其是无状态业务，有状态业务就需要额外花些功夫了。既然Mysql可以使用Keepalived很好的做到主从切换，那么Redis自然可以使用
阅读全文
摘要：公司的一个项目上线，需要用到Nodejs和npm环境，这里记录下安装过程，方便回看同时供大家参考。 1）yum安装方式（版本比较老点，v5.12.0 + 3.8.6） 2）tar包安装（制定版本安装，v8.1.0+5.0.3）
阅读全文