随笔分类 - 中间件的使用
摘要：背景 因为ES的近实时性 所以insert和update es的数据 在短时间可能查询不到(1s左右) 参考上一篇博客https://www.cnblogs.com/ssskkk/p/15417053.html#_label0 这在开发中这是一个很头疼的问题. 解决方案 1.数据insert upd
阅读全文
摘要：ElasticSearch偶尔查询不到数据 1.数据刷新策略 现象：每次insert之后，立刻查询es的数据是有可能查不到的，因为es从内存写到磁盘需要时间 原因：es默认每1s执行一次refresh，因此文档实时性被提高到1s，这也是es被称为近实时的原因 解决方法：写的时候指定数据刷新策略， r
阅读全文
摘要：消息队列(MQ)简介 Kafka是一个消息队列 消息队列的作用： 异步 解耦 削峰 消息队列的两种模式: 1.点对点(消费者主动拉取数据，拉取完成消息清除) 2.发布订阅模式(一对多，消费者接收数据之后 不会清除消息)由队列主动给消费者推消息，速度由消息队列决定，消费者的处理能力不确定。 Kafka
阅读全文
摘要：zookeeper概念 1. zookeeper是一个分布式的 开源的，分布式应用程序的协调服务，zookeeper翻译过来就是动物管理员，它用来管理Hadoop(大象)，Hive(蜜蜂)，pig(小猪)的管理员 简称zk zookeeper提供的功能主要包括： 配置管理 分布式锁 集群管理 2.
阅读全文
摘要：环境准备 1.、gitLab:因为gitLab需要内存太大(4G起步)，我们使用官网的https://gitlab.com/ 2.、docker:也安装在宿主机中 3、gitLabRunner：安装在自己服务器宿主机中(不安装在容器里) 注意：gitLabRunner如果安装在容器里，此后在runn
阅读全文
摘要：背景 linux中如果简单的查看文件内容 可以用cat命令 如果想对文件的内容做一些统计 awk 一个强大的文本处理语言，用于数据处理和统计 本文只是介绍一些简单的常用命令 awk常用命令 首先我们准备一个文本文件用来测试 Hello.txt Hello xiaohong 1999 Hello xi
阅读全文
摘要：目前只有思路，过两天上代码。。。。。。 加权轮询 服务器 权重 A 5 B 3 C 2 1）总的权重是10，先随机出一个数字(肯定是10以内的数字) 2）然后遍历权重的数组[5,3,2]一个一个的去比较 核心代码 遍历ip 拿到权重weight if(offset<weight) return ip
阅读全文
摘要：Docker简介 历史的演化 1）物理机时代：进程耦合，共享文件资源。资源抢占时，一个应用CPU过高会影响其它应用 2）虚拟化：虚拟机建立在虚拟硬件层之上，每个虚拟机都有独立的内核和用户程序以及依赖库，VM需要安装操作系统。 3）容器化技术：而 docker 容器建立在宿主机内核和 docker 服
阅读全文
摘要：ElasticSearch基础概念 Elasticsearch在Centos 7上的安装常见的问题 使用场景:比如分库的情况下，你想统计所有数据的报表，就把所有数据都放在ElasticSearch上 关系型数据库 ElasticSearch 数据库Database 索引index，支持全文检索 表T
阅读全文
摘要：JDK中Timer类 java.util.Timer定时器实际上是一个单线程，定时调度所拥有的TimerTask任务。 TimerTask类是一个定时任务类，实现了Runnable接口，而且是一个抽象类，需要定时执行的任务都需要重写它的run方法。 TImer类的缺陷 1）单线程，如果存在多个任务，
阅读全文
摘要：Redis集群概述 集群的核心意义只有一个：保证一个节点出现了问题之后，其他的节点可以继续提供服务使用。 Redis基础部分讲解过主从配置：对于主从配置可以有两类：一主二从，层级关系。开发者一主二从是常用的手段。 Redis的主从配置是所有Redis集群的一个基础。但是只是依靠主从依然无法实现高可用
阅读全文
摘要：Redis数据类型 基本类型(String int)： 如 set key value 、get key 等 所有命令都是按照 key value keys * 可以将全部数据列出，其中后面的 " * " 表示数据的匹配。 setnx key value 不覆盖设置，返回0表示失败(原来这个key已
阅读全文
摘要：RabbitMQ概述 MQ的应用场景：异步，削峰，解耦 RabbitMQ是遵从AMQP协议的 通信协议都设计到报文交互，换句话说RabbitMQ就是AMQP协议的Erlang的实现。 AMQP说到底还是一个通信协议从low-level层面举例来说，AMQP本身是应用层的协议，其填充于TCP协议的数据
阅读全文
摘要：linux安装maven 先解压maven的压缩包apache-maven-3.5.4-bin.tar.gz 命令: tar -zavf pache-maven-3.5.4-bin.tar.gz 然后编辑linux的环境变量属性:vim etc/profile 在末尾添加如下代码 export M2
阅读全文
摘要：nginx安装步骤 1 nginx安装环境 nginx是C语言开发，建议在linux上运行，本教程使用Centos6.5作为安装环境。 gcc 安装nginx需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装 gcc：yum install gcc-c++ PCRE P
阅读全文