摘要: Redis_sentinel 哨兵模式; Redis 架构一般多是一主多从; Sentinel 哨兵模式就是三组进行相互监控; 配置 Redis 的主从模式; 主配置信息:6371 从配置信息: 6372 从配置信息 6373 : sentinel 哨兵: redis 哨兵 sentinel.con 阅读全文
posted @ 2017-11-20 16:51 01234567 阅读(284) 评论(0) 推荐(0) 编辑
摘要: TwemProxy 1、twemproxy是twitter开发的一个redis代理proxy。 通过Twemproxy可以使用多台服务器来水平扩张redis服务,可以有效的避免redis单点故障问题。使用Twemproxy 对硬件资源配置较高;在redis性能有一定的损失(twitter测试约20% 阅读全文
posted @ 2017-11-20 16:42 01234567 阅读(763) 评论(0) 推荐(0) 编辑
摘要: Apache Storm Storm是一个分布式的,可靠的,容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt,bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传过 阅读全文
posted @ 2017-11-20 15:25 01234567 阅读(370) 评论(0) 推荐(0) 编辑
摘要: 升级 Python 导致 yum 和 pip 异常; 一些storm 和 自定义项目 需要升级python版本;Linux 系统默认是2.6 版本 ,所以需要根据业务进行升级操作:Python 官方下载地址: https://www.python.org/ftp/python/ # yum inst 阅读全文
posted @ 2017-11-20 14:58 01234567 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 二、安装 2、设置环境变量: 阅读全文
posted @ 2017-11-20 14:55 01234567 阅读(169) 评论(0) 推荐(0) 编辑
摘要: zookeeper ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是 阅读全文
posted @ 2017-11-20 14:43 01234567 阅读(168) 评论(0) 推荐(0) 编辑
摘要: kafka Monitor Kafka Offset Monitor 执行格式: offsetStorage 目前只支持 kaka,zk 按照host1:port1,host2:port2… 的格式去写即可; 示例: 正式线测试访问: 阅读全文
posted @ 2017-11-20 14:14 01234567 阅读(1632) 评论(0) 推荐(0) 编辑
摘要: kafkaKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。通过集群来提供实时的消费; 节点信息 kafka1 192.168.1.31 broker 阅读全文
posted @ 2017-11-20 14:09 01234567 阅读(261) 评论(0) 推荐(0) 编辑
摘要: Nxlog 主要用于各业务后端服务的日志采集,windows环境和linux环境都支持。 nglog 主要分两部分: 配置示例: # cat nglog.conf ( windows 和 Linux 可通用 需注意编码格式问题 ) 多级目录的配置: 阅读全文
posted @ 2017-11-20 13:44 01234567 阅读(6540) 评论(0) 推荐(1) 编辑
摘要: 基本配置elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml 、logging.yml、jvm.options 第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置 阅读全文
posted @ 2017-11-20 11:44 01234567 阅读(637) 评论(0) 推荐(0) 编辑