01 2018 档案
摘要：近在搞微服务框架的开发，需要有一个配置中心来满足统一管理业务应用以及组件的配置，在此期间也使用了多个配置中心比如：spring cloud config，自研的配置中心，当然还有apollo。 springcloud config需要依托svn等代码托管工具，而且没有统一管理页面；自研的配置中心最燃
阅读全文
摘要：一. 准备工作 1.下载 apollo 安装包 下载链接：http://activemq.apache.org/apollo/download.html 2.下载 java JDK 安装包 ( apollo 依赖 java 环境) 下载链接：http://www.oracle.com/technet
阅读全文
摘要：背景 临时接到需求，要帮兄弟团队跑一点线上的数据，据说很急。于是拿出了许久不用的Spring-Boot。可是，可是，死活启动有问题，心累了。其实一般写脚本就是在Boot用Groovy写好，然后放到线上服务器运行之。最后实在无奈，只得在线上服务器安装Groovy环境。跑下脚本。 ### 详情 现在博客
阅读全文
摘要：centos 本人亲测可以 首先安装好mysql，elasticsearch 不懂的请参考另一篇文章 安装logstash官方：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html1.下载公共密钥rpm -
阅读全文
摘要：一、安装logstash 二、安装mongodb插件 cd D:\Software\ELK5.5.0\logstash-5.5.0\bin logstash-plugin install logstash-output-mongodb logstash-plugin install logstash
阅读全文
摘要：Question: Hi all, i have an issue when i try to get data from mongodb to elasticsearch using logstash-input-mongodb. There is no document that get int
阅读全文
摘要：我们产品中需要全文检索的功能，后端数据存储主要使用了 MySQL + MongoDB，而其中需要检索的内容是在 MongoDB 中的。 MongoDB 本身是自带文本索引功能的，但是，不支持中文。术业有专攻，MongoDB 是数据存储应用，那么全文检索就使用专业的全文搜索引擎吧。 预选的几个选手有：
阅读全文
摘要：安装es后不能启动原因在elasticsearch.yml中加如下两个配置： bootstrap.memory_lock: falsebootstrap.system_call_filter: false linux es启动： redhat linux kibana启动：sudo /etc/ini
阅读全文
摘要：原文链接：http://www.concretepage.com/java/jdk-8/java-8-stream-sorted-example 国外对Java8一系列总结的不错， 翻译过来给大家共享 这篇文章将会讲解Java 8 Stream sorted()示例， 我们能够以自然序或着用Comp
阅读全文
摘要：rpm包的安装： 1.安装一个包 # rpm -ivh 2.升级一个包 # rpm -Uvh 3.移走一个包 # rpm -e 4.安装参数 --force 即使覆盖属于其它包的文件也强迫安装 --nodeps 如果该RPM包的安装依赖其它包，即使其它包没装，也强迫安装。 5.查询一个包是否被安装
阅读全文
摘要：在使用Docker的时候，有一个工具叫做 docker-compose，安装它的前提是要安装pip工具. 1、首先检查linux有没有安装python-pip包，直接执行 yum install python-pip 2、没有python-pip包就执行命令 yum -y install epel-
阅读全文
摘要：0、前言 时光荏苒，ES转眼间就从2.X跳到了5.X。。。 忆往昔峥嵘岁月，奈何ES社区太活跃，版本跳的比房价还快啊。。。 话说回来，需要部署一套Elasticsearch 5.2.1 即本月最新推出的ES新力作，发现很多用法已经不一样了。。。 本次首先说Head插件的安装： 1、安装插件head
阅读全文
摘要：我的ElasticSearch版本是5以上的，网上搜了好多安装方式，都不对。 还好找到一个成功的，转载过来做记录。 原文地址：ElasticSearch-5.0安装head插件 步骤 下载node.js ,网址：https://nodejs.org/en/ 安装node到D盘。如D:\nodejs。
阅读全文
摘要：今天，又发现一个超级简单的升级node.js的方法。一行命令搞定，省去了重新编译安装的过程。 node有一个模块叫n（这名字可够短的。。。），是专门用来管理node.js的版本的。 首先安装n模块： npm install -g n 第二步： 升级node.js到最新稳定版 n stable 是不是
阅读全文
摘要：最近，我一直对学习Node.js比较感兴趣。这是一个Java平台的服务器端编程 ，它允许开发人员在服务器编写Java代码，并且有许多CentOS的用户正努力学习这个语言的开发环境。这正是我想做这个教程的目的。 首先请确保你拥有CentOS 7。因为它是我唯一在使用的版本，当然没有绝对的保证，本指南也
阅读全文
摘要：plugin install mobz/elasticsearch-head 本文主要介绍elasticsearch5.0安装及head插件安装。确保系统已经安装好jdk1.8.0_73以上，操作系统CentOS6以上。 一、elasticsearch安装配置 1.官网下载源码包 https://a
阅读全文
摘要：日志样例 查看 IIS 日志配置，选择格式为 W3C（默认字段设置）保存生效。 采集配置 注意： 配置文件格式必须以 UTF-8 无 BOM 格式编码，可以通过notepad++修改文件编码格式。 path 填写文件路径时请使用UNIX模式的分隔符，如：C:/test/multiline/*.log
阅读全文
摘要：收集流程 1nxlog => 2logstash => 3elasticsearch 1. nxlog 使用模块 im_file 收集日志文件，开启位置记录功能 2. nxlog 使用模块tcp输出日志 3. logstash 使用input-tcp ，收集日志，并格式化，输出至es windows
阅读全文
摘要：Logstash IIS 日志采集，跟Linux上运行差不多，都需要java运行环境，装个jdk就好了，对于IIS日志暂时未处理X-forward-for，纠结怎么弄当中，貌似要装个插件，慢慢研究。 补充： 已经解决 windows iis日志显示源地址插件，可以添加下面这个插件 https://d
阅读全文
摘要：在iis6时，通过iis管理器的日志配置可以找到站点日志存储的位置。 但是在iis7下，iis管理器下的日志配置只能找到iis日志配置的主目录，但到底在哪个子目录，则无法直接获知。 后来在主日志目录下，发现子目录名字比较有规律：W3SVC + 数字，联想到iis的站点配置文件中，每个站点会被分配一个
阅读全文
摘要：Logstash使用grok解析IIS日志 1. 安装配置 安装Logstash前请确认Elasticsearch已经安装正确，参见RedHat6.4安装Elasticsearch5.2.0。 下载链接为：logstash-5.2.0.rpm。 下载完成后，rpm -i logstash-5.2.0
阅读全文
摘要：一、简介 ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Elasticsearch所涉及到的每一项技术都不是创新或者革命性的，全文搜索，分析系统以及分布式数据库这些早就已
阅读全文
摘要：1. 引言 之前一篇文章《Logstash 介绍及linux下部署》，我们实现了logstash的安装以及简单的控制台标准输入输出测试，那么logstash能不能做更多的事情呢？答案是肯定的，logstash就是为了处理日志数据而生的。一个最直接的应用是，我们从事web开发，将应用放到apache中
阅读全文
摘要：快捷键 功能Ctrl+N 新建一张便笺Ctrl+D 删除当前便笺Ctrl+E 居中对齐Ctrl+R 右对齐Ctrl+J 左对齐Ctrl+I 斜体Ctrl+B 粗体Ctrl+U 下划线Ctrl+T 删除线Ctrl+Shift+> 加大选中文字的字号Ctrl+Shift+< 缩小选中文字的字号Ctrl+
阅读全文
摘要：从kafka获取数据，存到mongodb中。适合空间查询geo_point设置。配置文件如下： input { kafka { type => "test" auto_offset_reset => "smallest" group_id => "m2" topic_id => "db100" zk
阅读全文