摘要： 背景 项目中已提供海量日志数据的多维实时查询，客户提出新需求：将数据导出。 将数据导出分两步： 1. 查询大量数据 2. 将数据生成文件并下载 本文主要探讨第一步，在es中查询大量数据或者说查询大数据集。 es支持的查询数量 es默认支持的查询数量或者说查询深度是10,000。 可以动态修改max_ 阅读全文

摘要： 从es将数据导出分两步： 1. 查询大量数据 2. 将数据生成文件并下载 本篇主要是将第二步，第一步在《 "es实战之查询大量数据" 》中已讲述。 csv vs excel excel2003不能超过65536， excel2007及以上版本支持1048576条数据。excel支持的数据量有限，并且 阅读全文

摘要： 管理 在UNIX/linux系统中，一切皆为文件；若非文件，则为进程。首先认识文件系统： linux文件系统 /var 经常变化的(variable)文件，诸如日志或数据库等 /usr 包含绝大部分所有用户(users)都能访问的应用程序和文件 /opt 提供一个供可选的 (optional) 应用 阅读全文

摘要： kylin适用场景 OLAP 它适合数据量大，查询维度多，但是业务改动不频繁的场景。因为业务多，则kylin的cube很多。每次业务变更，kylin修改的工作量大，且每次全量跑数据耗费时间比较长。 它是采用空间换时间，预先将结果计算出来。维度较多时，数据膨胀很快。 如果查询结果可以直接命中，则查询速 阅读全文

摘要： 什么是LVM LVM是逻辑卷管理（Logical Volume Manager）的简称，它是建立在物理存储设备之上的一个抽象层，允许你生成逻辑存储卷,与直接使用物理存储在管理上相比,提供了更好灵活性。 LVM将存储虚拟化,使用逻辑卷,你不会受限于物理磁盘的大小,另外,与硬件相关的存储设置被其隐藏,你 阅读全文

摘要： 在开发日志系统，简单的日志系统用ELK即可，代码量很少。在分析日志时，发现大量日志格式存在问题，真正的工作在于日志内容的分类、日志格式的梳理。 日志级别概述 ERROR ERROR是最高级别错误，反映系统发生了非常严重的故障，无法自动恢复到正常态工作，需要人工介入处理。系统需要将错误相关痕迹以及错误 阅读全文

摘要： sentinl是什么 Kibi/Kibana Alert & Reporting App Watching your data, 24/7/365 sentinl是一个免费的kibana预警与报告插件，与付费软件X Pack功能类似。 Some Examples for illustration: 阅读全文

摘要： 聚合可以做什么？ 1. count 2. avg 3. filter and count 4. 每月新增 5. top 6. 是否存在不正常或不符合规则的数据 关键概念 Buckets group by 将数据按某种标准划分成不同集合 桶嵌套： Cincinnati would be placed 阅读全文

摘要： 在学习spark streaming时，建议先学习和掌握RDD。spark streaming无非是针对流式数据处理这个场景，在RDD基础上做了一层封装，简化流式数据处理过程。 spark streaming 引入一些新的概念和方法，本文将介绍这方面的知识。主要包括以下几点： 1. 初始化流上下文 阅读全文

摘要： 基本概念 可以对照数关系型据库来理解Elasticsearch的有关概念。 Relational DB | Elasticsearch | Databases | Indices Tables | Types Rows| Documents Columns| Fields 在ES中，存储结构主要有四 阅读全文