打赏

随笔分类 -  ELK(Elasticsearch/Logstash/Kibana)概念学习系列

摘要:继续,更新 阅读全文
posted @ 2017-03-24 23:53 大数据和AI躺过的坑 阅读(11712) 评论(2) 推荐(0) 编辑
摘要:ElasticSearch vs Lucene的关系,简单一句话就是,成品与半成品的关系。 (1)Lucene专注于搜索底层的建设,而ElasticSearch专注于企业应用。 (2)Luncene是单节点的API,ElasticSearch是分布式的。 (3)Luncene需要二次开发,才能使用。 阅读全文
posted @ 2017-03-24 17:49 大数据和AI躺过的坑 阅读(3076) 评论(1) 推荐(0) 编辑
摘要:主要分为如下几点: 1.站内搜索:主要和 Solr 竞争,属于后起之秀。 2.NoSQL Json文档数据库:主要抢占 Mongo 的市场,它在读写性能上优于 Mongo ,同时也支持地理位置查询,还方便地理位置和文本混合查询。 3.监控:统计、日志类时间序的数据存储和分析、可视化,这方面是引领者。 阅读全文
posted @ 2017-03-24 17:41 大数据和AI躺过的坑 阅读(8630) 评论(0) 推荐(0) 编辑
摘要:它的位置非常清晰,直接贴图。 更详细点,见 阅读全文
posted @ 2017-03-24 17:40 大数据和AI躺过的坑 阅读(1431) 评论(0) 推荐(0) 编辑
摘要:ElasticSearch 工作原理图 文字说明,以后更新 阅读全文
posted @ 2017-03-24 17:39 大数据和AI躺过的坑 阅读(1051) 评论(0) 推荐(0) 编辑
摘要:它们之间的关系,如下图所示。 阅读全文
posted @ 2017-03-24 17:38 大数据和AI躺过的坑 阅读(1970) 评论(0) 推荐(0) 编辑
摘要:ElasticSearch 架构图 从下往上来分析ElasticSearch 架构图 Gateway代表ElasticSearch索引的持久化存储方式。 在Gateway中,ElasticSearch默认先把索引存储在内存中,然后当内存满的时候,再持久化到Gateway里。当ES集群关闭或重启的时候 阅读全文
posted @ 2017-03-24 17:38 大数据和AI躺过的坑 阅读(10074) 评论(0) 推荐(0) 编辑
摘要:福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力。 百家号 :九月哥快讯 快手号: jiuyuege ElasticSearc 阅读全文
posted @ 2017-03-24 17:37 大数据和AI躺过的坑 阅读(20818) 评论(0) 推荐(2) 编辑
摘要:福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力。 百家号 :九月哥快讯 快手号: jiuyuege ElasticSearc 阅读全文
posted @ 2017-03-24 17:29 大数据和AI躺过的坑 阅读(945) 评论(0) 推荐(0) 编辑
摘要:为什么es需要优化? 答: es集群的3节点,每个机器都要去设置。master、slave1和slave2都要去操作。 怎么来做好es的优化工作? 途径1、解决es启动的警告信息【或者es中Too many open files的问题】 max file descriptors [4096] for 阅读全文
posted @ 2017-02-28 14:38 大数据和AI躺过的坑 阅读(27727) 评论(2) 推荐(4) 编辑
摘要:分为两种情况,取决于是否安装了tomat。 一、若安装了tomcat 1、es的前台启动 需要先启动tomcat,再启动es,否则会报错! 所以,得 2、es的后台启动 [hadoop@HadoopMaster elasticsearch-2.4.3]$ bin/elasticsearch -d[h 阅读全文
posted @ 2017-02-28 14:16 大数据和AI躺过的坑 阅读(27371) 评论(1) 推荐(0) 编辑
摘要:为什么需要索引模板? 在实际工作中针对一批大量数据存储的时候需要使用多个索引库,如果手工指定每个索引库的配置信息(settings和mappings)的话就很麻烦了。 所以,这个时候,就存在创建索引模板的必要了!!1 索引可使用预定义的模板进行创建,这个模板称作Index templates。模板设 阅读全文
posted @ 2017-02-28 11:43 大数据和AI躺过的坑 阅读(39687) 评论(3) 推荐(2) 编辑
摘要:集群脑裂是什么? 所谓脑裂问题(类似于精神分裂),就是同一个集群中的不同节点,对于集群的状态有了不一样的理解。 由于某些节点的失效,部分节点的网络连接会断开,并形成一个与原集群一样名字的集群,这种情况成为集群脑裂(split-brain)现象。这个问题非常危险,因为两个新形成的集群会同时索引和修改集 阅读全文
posted @ 2017-02-28 09:13 大数据和AI躺过的坑 阅读(14939) 评论(0) 推荐(1) 编辑
摘要:第一步:进入github.com 第二步: 第三步: 第四步: 第五步: 第六步: 第七步:认识下es的源码目录结构 阅读全文
posted @ 2017-02-27 22:21 大数据和AI躺过的坑 阅读(1913) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch之settings和mappings的意义 简单的说,就是 settings是修改分片和副本数的。 mappings是修改字段和类型的。 记住,可以用url方式来操作它们,也可以用java方式来操作它们。建议用url方式,因为简单很多。 1、ES中的settings 查询索 阅读全文
posted @ 2017-02-27 15:30 大数据和AI躺过的坑 阅读(59973) 评论(0) 推荐(6) 编辑
摘要:不多说,直接上干货! 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力。 百家号 :九月哥快讯 快手号: jiuyuege 前提 Elasticsea 阅读全文
posted @ 2017-02-25 11:22 大数据和AI躺过的坑 阅读(15304) 评论(9) 推荐(1) 编辑
摘要:前提, Elasticsearch之中文分词器插件es-ik 针对一些特殊的词语在分词的时候也需要能够识别 有人会问,那么,例如: 如果我想根据自己的本家姓氏来查询,如zhouls,姓氏“周”。 如果我想根据自己的公司名称来查询,如“好记性不如烂笔头感叹号博客园” 如果我想根据自己公司里的产品名称来 阅读全文
posted @ 2017-02-25 08:49 大数据和AI躺过的坑 阅读(24125) 评论(0) 推荐(0) 编辑
摘要:它在哪里呢? 非常重要! [hadoop@HadoopMaster custom]$ pwd/home/hadoop/app/elasticsearch-2.4.3/plugins/ik/config/custom[hadoop@HadoopMaster custom]$ lltotal 5252- 阅读全文
posted @ 2017-02-24 23:16 大数据和AI躺过的坑 阅读(4987) 评论(0) 推荐(0) 编辑
摘要:前提 什么是倒排索引? Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch之中文分词器 Elasticsearch之几个重要的分词器 elasticsearch官方默认的分词插件 1、elastics 阅读全文
posted @ 2017-02-24 21:25 大数据和AI躺过的坑 阅读(94284) 评论(2) 推荐(4) 编辑
摘要:前提 什么是倒排索引? Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch之中文分词器 Elasticsearch的几个重要的分词器: 前提 什么是倒排索引? Elasticsearch之分词器的作用 阅读全文
posted @ 2017-02-24 20:49 大数据和AI躺过的坑 阅读(12063) 评论(0) 推荐(0) 编辑