随笔分类 - 大数据技术栈 / ELK
Elasticsearch、Logstash、Kibana
摘要：文档(Document) Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位 日志文件中的日志项 一本电影的具体信息/一张唱片的详细信息 MP3播放器里的一首歌/一篇PDF文档中的具体内容 文档会被序列化成JSON格式，保存在Elasticsearch中 JSON对象由字段组成，
阅读全文
摘要：Type可以理解为关系型数据库的Table，那每个字段的数据类型是如何定义的呢？ 实际上每个Type中的字段是什么数据类型，由mapping定义，如果我们在创建Index的时候，没有设定mapping，系统会自动根据一条数据的格式来推断出该数据对应的字段类型， mapping除了自动定义，还可以手动
阅读全文
摘要：如何通过分词生成倒排索引 分词是指将文本转换成一系列单词（term or token）的过程，也可以叫做文本分析，在es里面称为Analysis. Analysis 和Analyzer Analysis - 文本分析是把全文本转换一系列单词（term / token）的过程，也叫分词； Analys
阅读全文
摘要：1. 基本概念 Elasticsearch有几个核心概念，先理解这些概念将有助于掌握Elasticsearch。 近实时(Near Realtime / NRT) Elasticsearch是一个近实时的搜索平台，从生成文档索引到文档成为可搜索，有一个轻微的延迟(通常是一秒钟)。 集群(Cluste
阅读全文
摘要：Logstash数据处理工具 具有实时渠道能力的数据收集引擎，包含输入、过滤、输出模块，一般在过滤模块中做日志格式化的解析工作 日志信息-->logstsh-->json形式 mysql\ hbase\ ES-->logstsh(select * from user)-->ES logstsh架构
阅读全文
摘要：检查集群是否正确启动 http://192.168.1.101:9200/_cat/nodes?v {"error":{"root_cause":[{"type":"master_not_discovered_exception","reason":null}],"type":"master_not
阅读全文
摘要：1. ElasticSearch概述 Elasticsearch是一个高度可伸缩的 基于Apache Lucene(TM)的 开源全文搜索引擎。Elasticsearch让你可以快速、实时地存储、搜索和分析大量数据，它通常作为互联网应用的内部搜 索引擎，为需要复杂搜索功能的应用提供支持。 Elast
阅读全文