摘要: 系统:Centos6.6x64安装目录:/usr/local/主:192.168.100.103从:192.168.100.104 1,下载安装: 安装依赖: # yum install gcc tcl ruby -y # wget http://download.redis.io/releases 阅读全文
posted @ 2017-11-20 17:38 01234567 阅读(215) 评论(0) 推荐(0) 编辑
摘要: redis 集群 cluster 在设计的时候,就考虑到了去中心化,去中间件,集群中的每个节点都是平等的关系,都是对等的,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接,而且这些连接保持活跃,这样就保证了我们只需要连接集群中的任意一个节点,就可以获取到其他节点的数据。 Red 阅读全文
posted @ 2017-11-20 17:33 01234567 阅读(226) 评论(0) 推荐(0) 编辑
摘要: Redis_sentinel 哨兵模式; Redis 架构一般多是一主多从; Sentinel 哨兵模式就是三组进行相互监控; 配置 Redis 的主从模式; 主配置信息:6371 从配置信息: 6372 从配置信息 6373 : sentinel 哨兵: redis 哨兵 sentinel.con 阅读全文
posted @ 2017-11-20 16:51 01234567 阅读(284) 评论(0) 推荐(0) 编辑
摘要: TwemProxy 1、twemproxy是twitter开发的一个redis代理proxy。 通过Twemproxy可以使用多台服务器来水平扩张redis服务,可以有效的避免redis单点故障问题。使用Twemproxy 对硬件资源配置较高;在redis性能有一定的损失(twitter测试约20% 阅读全文
posted @ 2017-11-20 16:42 01234567 阅读(763) 评论(0) 推荐(0) 编辑
摘要: Apache Storm Storm是一个分布式的,可靠的,容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt,bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传过 阅读全文
posted @ 2017-11-20 15:25 01234567 阅读(370) 评论(0) 推荐(0) 编辑
摘要: 升级 Python 导致 yum 和 pip 异常; 一些storm 和 自定义项目 需要升级python版本;Linux 系统默认是2.6 版本 ,所以需要根据业务进行升级操作:Python 官方下载地址: https://www.python.org/ftp/python/ # yum inst 阅读全文
posted @ 2017-11-20 14:58 01234567 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 二、安装 2、设置环境变量: 阅读全文
posted @ 2017-11-20 14:55 01234567 阅读(169) 评论(0) 推荐(0) 编辑
摘要: zookeeper ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是 阅读全文
posted @ 2017-11-20 14:43 01234567 阅读(168) 评论(0) 推荐(0) 编辑
摘要: kafka Monitor Kafka Offset Monitor 执行格式: offsetStorage 目前只支持 kaka,zk 按照host1:port1,host2:port2… 的格式去写即可; 示例: 正式线测试访问: 阅读全文
posted @ 2017-11-20 14:14 01234567 阅读(1632) 评论(0) 推荐(0) 编辑
摘要: kafkaKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。通过集群来提供实时的消费; 节点信息 kafka1 192.168.1.31 broker 阅读全文
posted @ 2017-11-20 14:09 01234567 阅读(261) 评论(0) 推荐(0) 编辑
摘要: Nxlog 主要用于各业务后端服务的日志采集,windows环境和linux环境都支持。 nglog 主要分两部分: 配置示例: # cat nglog.conf ( windows 和 Linux 可通用 需注意编码格式问题 ) 多级目录的配置: 阅读全文
posted @ 2017-11-20 13:44 01234567 阅读(6540) 评论(0) 推荐(1) 编辑
摘要: 基本配置elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml 、logging.yml、jvm.options 第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置 阅读全文
posted @ 2017-11-20 11:44 01234567 阅读(637) 评论(0) 推荐(0) 编辑
摘要: elasticsearch 配置单机器多实例 path data: path logs: path config: elasticsearch 配置绝对路径 : [root@es]$ cat config/node1/elasticsearch.yml |grep -v ^# 非root 启动:绝对 阅读全文
posted @ 2017-11-20 11:38 01234567 阅读(787) 评论(0) 推荐(0) 编辑
摘要: elasticsearch开源的搜索引擎; ElasticSearch 个基于Lucene的搜索服务器;可以使用多节点的备份;集群设置; (类似是个数据库型、有索引有什么的)、(lucene apache 基金的全文检索引擎的架构) 1、ElasticSearch 安装使用; 软件 架构 安装时第一 阅读全文
posted @ 2017-11-20 11:34 01234567 阅读(821) 评论(0) 推荐(0) 编辑