摘要： Kibana 的安装： 点击kibana官网下载 图为下载的版本6.3.1，kibana的版本和elasticsearch的版本和必须一致。 修改配置（可以省略）打开下图的路径文件kibana.yml（可以通过记事本方式） 设置elasticsearch.url为启动的elasticsearch（h 阅读全文

摘要： 一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心 阅读全文

摘要： 开涛大神在博客中说过：在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。本文结合作者的一些经验介绍限流的相关概念、算法和常规的实现方式。 缓存 缓存比较好理解，在大型高并发系统中，如果没有缓存数据库将分分钟被爆，系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量，也是保护 阅读全文

摘要： 一直以来做对外的接口文档都比较原始，基本上都是手写的文档传来传去，最近发现了一个新玩具，可以在接口上省去不少麻烦。swagger是一款方便展示的API文档框架。它可以将接口的类型最全面的展示给对方开发人员，避免了手写文档的片面和误差行为。swagger目前有两种swagger和swagger2两种， 阅读全文

摘要： logstash 安装，下载最新版本的logstash: 点击打开链接 解压到磁盘根目录下：在logstash>bin 1、目录下创建：logstash.conf 2、输入内容: input { input { stdin{ stdin{ } } } } output { output { stdo 阅读全文

摘要： 首先说明一下MySQL的版本： 表结构： id为自增主键，val为非唯一索引。 灌入大量数据，共500万： set session unquie_checks=false set session autocommit=false CREATE DEFINER=`root`@`localhost` P 阅读全文

摘要： 构建一个应用 当然了，我们可以用maven，一顿new，new出来一个过程，这里我们将使用 Flink Maven Archetype 来创建我们的项目结构和一些初始的默认依赖。在你的工作目录下，运行如下命令来创建项目： 这样一个工程就构建好了。 还有一个更加牛逼的办法，看这里： 直接在命令行执行上 阅读全文

摘要： 本地安装单机版本Flink 一般来说，线上都是集群模式，那么单机模式方便我们测试和学习。 环境要求 本地机器上需要有 Java 8 和 maven 环境，推荐在linux或者mac上开发Flink应用： 如果有 Java 8 环境，运行下面的命令会输出如下版本信息： 如果有 maven 环境，运行下 阅读全文

摘要： 优化sql语句步骤: 1.发现问题 2.分析执行计划 3.优化索引 4.改写sql (再达不到优化效果的话 进行数据库分库分表) 1.发现问题途径 1.用户上报性能问题 2.慢查询日志发现问题SQL 3.数据库实时监控长时间运行的SQL 2.设置MYSQL set global slow_query 阅读全文

摘要： ElasticSearch，简称ES， 是一个基于Lucene的分布式全文搜索服务器，和SQL Server的全文索引（Fulltext Index）有点类似，都是基于分词和分段的全文搜索引擎，具有分词，同义词，词干查询的功能，但是ES天生具有分布式和实时的属性。 一，安装Java SE环境 安装J 阅读全文