sparkdev

摘要： Grep 是 Global Regular Expression Print 的缩写，它搜索指定文件的内容，匹配指定的模式，默认情况下输出匹配内容所在的行。注意，grep 只支持匹配而不能替换匹配到的内容。 基本语法 语法格式：grep [OPTIONS] PATTERN [FILE...]grep 阅读全文

摘要： Linux 中的文件分为 Hard Link 和 Symbolic Link 两种。Hard Link 文件又被称为硬链接文件、实体链接文件，Symbolic Link 文件则常被称为符号链接、软链接文件。 ln 命令用来在文件之间建立链接。在介绍 ln 命令前，让我们先来搞清楚究竟什么是硬链接，什 阅读全文

摘要： 笔者在前文《Linux EXT2 文件系统中》中介绍了 EXT2 文件系统中的基本概念，本文继续以 EXT2 文件系统为例介绍文件系统是如何管理文件存储的。 inode 在前文介绍文件系统时我们提到了 inode 和 data block。在 EXT2 文件系统中，inode 用来存放文件的元信息， 阅读全文

摘要： AUFS 的英文全称为 Advanced Mult-Layered Unification Filesystem，曾经是 Another Mult-Layered Unification Filesystem，显然，现在的内涵规格更高些。说明：本文的演示环境为 ubuntu 16.04。 Union 阅读全文

摘要： 磁盘是用来储文件的，但是必须先把磁盘格式化为某种格式的文件系统，才能存储文件。文件系统的目的就是组织和管理磁盘中的文件。在 Linux 系统中，最长见的是 ext2 系列的文件系统。其早期版本为 ext2，后来又发展出 ext3 和 ext4。ext3 和 ext4 虽然对 ext2 进行了增强，但 阅读全文

摘要： 本文介绍 Linux 文件系统相关的基本概念。 硬盘的物理组成 盘片硬盘其实是由单个或多个圆形的盘片组成的，按照盘片能够容纳的数据量，分为单盘(一个硬盘里面只有一个盘片)或多盘(一个硬盘里面有多个盘片)的硬盘。下面是一张盘片的示意图(此图来自互联网)： 磁道和柱面硬盘中有磁头在盘片上读写数据，磁头固 阅读全文

摘要： 有些既存的项目把一部分日志信息写入到数据库中了，或者是由于其它的原因我们希望把关系型数据库中的信息读取到 elasticsearch 中。这种情况可以使用 logstash 的 jdbc input 插件从关系型数据库中读取日志数据，然后输出到 elasticsearch 中。本文介绍如何在 win 阅读全文

摘要： 到目前为止，logstash 没有给出官方的，在 windows 系统中作为后台服务运行的方式。本文将介绍如何使用第三方工具 nssm 让 logstash 作为后台服务运行在 windows 中。说明：演示的环境为 windows server 2016，logstash 的版本为 6.2.4。 阅读全文

摘要： 需求：收集 ubuntu 系统日志，发送给 logstash，再由 logstash 把数据传递给 elasticsearch，最后通过 kibana 展示日志数据。 Filebeat System Module Filebeat Modules 可以简化常见日志格式的收集、解析和可视化。一个典型的 阅读全文

摘要： 作为生产者和消费者之间数据流的一个中心组件，需要一个 Logstash 实例负责驱动多个并行事件流的情况。默认情况下，这样的使用场景的配置让人并不太开心，使用者会遭遇所谓的条件地狱(Conditional hell)。因为每个单独的 Logstash 实例默认支持一个管道，该管道由一个输入、若干个过 阅读全文