xiaolaotou

摘要： 一、Redis集群搭建说明 基于三台虚拟机部署9个节点，一台虚拟机三个节点，创建出4个master、4个slave的Redis集群。 Redis 集群搭建规划,由于集群至少需要6个节点(3主3从模式），因为我这里有三台虚拟机，因此每台虚拟机部署了3个节点。 1、下载地址： 2、解压（三个节点，这里仅 阅读全文

摘要： 一、说明： 搭建Redis集群时，安装 报错： redis requires Ruby version >= 2.2.2的报错，查了资料发现是Centos默认支持ruby到2.0.0，可gem 安装redis需要最低是2.2.2 二、解决办法： 解决：分别执行： curl -sSL https:// 阅读全文

摘要： 一、Redis简介 是以key-value形式存储，和传统的关系型数据库不一样，不一定遵循传统数据库的一些基本要求。（区别于MYSQL的二维表格的形式存储）。和Memcache类似，但是很大程度上拟补了Memcache的不足。和Memcache一样，Redis数据都是缓存在计算机内存中，不同的是,M 阅读全文

摘要： 一、Logstash对接kafka测通 说明： 由于我这里kafka是伪分布式，且kafka在伪分布式下，已经集成了zookeeper。 1、先将zk启动，如果是在伪分布式下，kafka已经集成了zk 2、启动broker 3、创建topic 4、创建消费者 5、配置Logstash对接kafka的 阅读全文

摘要： 一、使用Logstash将mysql数据导入elasticsearch 1、在mysql中准备数据： 2、简单实例配置文件准备： 3、实例结果： 4、更多选项配置如下（单表同步）： 5、多表同步： 多表配置和单表配置的区别在于input模块的jdbc模块有几个type，output模块就需对应有几个 阅读全文

摘要： #输入 input { file { path => ["文件路径"] #自定义类型 type => "自定义" start_position => "beginning" } } #过滤器 filter{ #去除换行符 mutate{ gsub => [ "message", "\r", "" ] } #逗号分割 mutate { ... 阅读全文

摘要： 一、Logstash简介 Logstash 是一个实时数据收集引擎，可收集各类型数据并对其进行分析，过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。它可以实现多样化的数据源数据全量或增量传输，数据标准格式处理，数据格式化输出等的功能，常用于日志处理。工作流程分为三个阶段： （1）inpu 阅读全文

摘要： 一、数据从文件导入elasticsearch 1、数据准备： 2、_bulk API导入ES的JSON文件需要满足一定的格式，每条记录之前，需要有文档ID且每一行\n结束 如果是在test.json文件中没有指定index名、type、id时： 但是id会自动生成 3、对于普通json文件的导入，可 阅读全文

摘要： 一、HBase关键参数配置指导 如果同时存在读和写的操作，这两种操作的性能会相互影响。如果写入导致的flush和Compaction操作频繁发生，会占用大量的磁盘IO操作，从而影响读取的性能。如果写入导致阻塞较多的Compaction操作，就会出现Region中存在多个HFile的情况，从而影响读取 阅读全文

摘要： 一、问题描述 公司想尝试使用Elasticsearch来存一部分数据，以此缓解数据增长带来的对数据库的压力。在研究了一段时间后，发现Elasticsearch不适合作为数据存储使用。 二、理由如下 1、mapping不可改，不能改index属性。Elasticsearch中以定义的mapping不能 阅读全文