摘要： kafka高效写数据 1.顺序写磁盘 kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写，官网有数据表明，同样的磁盘，顺序写能到600M/s，而随机写只有100M/s，这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁盘寻址的时间； 2.零复 阅读全文

摘要： 1.消费方式 consumer采用pull（拉）模式从broker中读取数据。 push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能的以最快速度传递消息，但是这样很容易造成consumer来不及处理消息。典型的表现就是拒绝服务以及网络拥塞，而pul 阅读全文

摘要： 分区策略 1.分区原因 1.1 方便在集群中扩展，每个partition可以通过调整以适应它所在的机器，而一个topic又可以有多个partition组成，因此整个集群就可以适应任意大小的数据了； 1.2 可以提高并发，因为可以以partition为单位读写； 2.分区原则 将producer发送的 阅读全文

摘要： 什么是Spring Data Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。Spring Data可以极大的简化JPA的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。除了 阅读全文

摘要： 1.创建工程，导入依赖 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>5.6.8</version> </dependency> <dependenc 阅读全文

摘要： 概述 ES集群是一个P2类型的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。所以，从网络架构及服务配置上来说，构建集群需要的配置及其简单。在Elasticsearch2.0之前，无阻碍的网络下，所有配 阅读全文

摘要： 标椎分词器效果测试 1.请求的url（请求方式是GET） http://localhost:9200/_analyze?analyzer=standard&pretty=true&text=我是程序员 2.实现效果 这样的分词效果不是我们所需要的； IK分词器简介 IKAnalyzer是一个开源的， 阅读全文

摘要： 实际开发中，主要由三种方式可以作为elasticsearch服务的客户端： 1.elasticsearch-head插件； 2.使用elasticsearch提供的Restful接口直接访问； 3.使用elasticsearch提供的API进行访问； 使用Postman工具进行Restful接口访问 阅读全文

摘要： 什么是Elaticsearch Elaticsearch，简称ES，ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储，检索数据；本身扩展性很好，可以扩展到上百万服务器，处理PB级别的数据。ES也使用java开发并使用Lucene作为其和核心来实现所有索引和搜索的功能，但是它的目的是通 阅读全文

摘要： 步骤一：下载ES压缩包 ElasticSearch分为Linux和Window版本，基于我们主要学习的是ElasticSearch的Java客户端的使用，所以我们课程中使用的是安装较为简便的Window版本，项目上线后，公司的运维人员会安装Linux版的ES供我们连接使用。 ElasticSearc 阅读全文