随笔分类 - [89]Big Data
-
安装elasticsearch-1.7.1及中文IK和近义词配置
摘要:安装elasticsearch及中文IK和近义词配置 https://www.cnblogs.com/yjf512/p/4789239.html 安装elasticsearch及中文IK和近义词配置 安装java环境 java环境是elasticsearch安装必须的 yum install jav 阅读全文
-
windows curl 命令
摘要:windows 64 curl 命令的使用 https://blog.csdn.net/qq_27093465/article/details/53545693 curl命令可以通过命令行的方式,执行Http请求。在 Elasticsearch 中有使用的场景,因此这里研究下如何在windows下执 阅读全文
-
elasticsearch-1.7.1 (es Windows 64)
摘要:elasticsearch 1.7.1 (es Windows 64) https://blog.csdn.net/qq_27093465/article/details/53544541 elastic adj.有弹力的;可伸缩的;灵活的 restful adj.平静的,悠闲的,让人得到休息的;安 阅读全文
-
ES mapping的写入与查看
摘要:Elasticsearch索引mapping的写入、查看与修改 https://blog.csdn.net/napoay/article/details/52012249 首先创建一个索引: curl XPOST "http://127.0.0.1:9200/productindex" {"ackn 阅读全文
-
MapReduce
摘要:MapReduce编程模型详解(基于Windows平台Eclipse) 阅读目录 前期准备 编程环境搭建 编写map阶段的map函数 编写reduce阶段的reduce函数 编写驱动类 运行MapReduce程序 报错解决 总结 本文基于Windows平台Eclipse,以使用MapReduce编程 阅读全文
-
使用Kibana
摘要:Kibana基本使用 https://www.elastic.co/guide/en/kibana/6.x/tutorial load dataset.html https://www.elastic.co/cn/products/kibana 现在你已经安装了Kibana,现在你一步步通过本教程快 阅读全文
-
kibana和ElasticSearch的信息查询检索
摘要:使用kibana来进行ElasticSearch的信息查询检索 大家经常会听到使用ELK搭建日志管理平台、完成日志聚合检索的功能,那么这个平台到底是个什么概念,怎么搭建,怎么使用呢? ELK包括ElasticSearch(数据存储、快速查询)、logstash(日志搜集)、kibana(展示Elas 阅读全文
-
kafka卡顿
摘要:一次kafka卡顿事故排查过程 https://www.cnblogs.com/yougewe/p/8975550.html 由于一次功能上线后,导致某数据量急剧下滑,给我们紧张的呢!排查过程也是个学习过程!抛开结果,方法论可供参考~ 1. 确认问题的真实性? 被数据部门告知,某数据量下滑严重,当时 阅读全文
-
window+kafka
摘要:window环境搭建zookeeper,kafka集群 为了演示集群的效果,这里准备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安装了kafka。 前期准备说明: 1.三台zookeeper服务器 阅读全文
-
MongoDB 存储日志数据
摘要:MongoDB 存储日志数据 https://www.cnblogs.com/nongchaoer/archive/2017/01/11/6274242.html 线上运行的服务会产生大量的运行及访问日志,日志里会包含一些错误、警告、及用户行为等信息,通常服务会以文本的形式记录日志信息,这样可读性强 阅读全文
-
微服务日志监控与查询logstash + kafka + elasticsearch
摘要:使用 logstash + kafka + elasticsearch 实现日志监控 https://blog.csdn.net/github_39939645/article/details/78881047 在本文中,将介绍使用 logstash + kafka + elasticsearch 阅读全文
-
ELK + Kafka + Filebeat
摘要:ELK + Kafka + Filebeat学习 https://blog.csdn.net/qq_21383435/article/details/79463832 https://blog.csdn.net/xiangyuan1988/article/details/78977471 https 阅读全文
-
Filebeat中文指南
摘要:Filebeat中文指南 下面的博客是公司里使用filebeat的实例,可以直接借鉴,有问题可以向我反馈。 Filebeat 快速开始: http://www.cnblogs.com/kerwinC/p/8866471.html 一、概述 Filebeat是一个日志文件托运工具,在你的服务器上安装客 阅读全文
-
Win 10 ELK(5.4.1)
只有注册用户登录后才能阅读该文。
-
Beats数据采集
摘要:Beats数据采集 Beats是elastic公司的一款轻量级数据采集产品,它包含了几个子产品: packetbeat(用于监控网络流量)、 filebeat(用于监听日志数据,可以替代logstash input file)、 topbeat(用于搜集进程的信息、负载、内存、磁盘等数据)、 win 阅读全文
-
日志分析系统
摘要:日志分析系统 参考博客:http://udn.yyuap.com/thread 54591 1 1.html ; https://www.cnblogs.com/yanbinliu/p/6208626.html ; http://blog.csdn.net/wyqlxy/article/detail 阅读全文
-
日志系统
摘要:ELK+FileBeat+Log4Net搭建日志系统 来源:https://www.zybuluo.com/muyanfeixiang/note/608470 标签(空格分隔): ELK Log4Net 项目中之前都是采用数据库来记录日志,虽然记录还算挺方便,但是每次都要到数据库来查询,如果日志在单 阅读全文
-
NET 的 ELK 监控方案
摘要:NET 的 ELK 监控方案 https://www.jianshu.com/p/3c26695cfc38 背景就不多说了,谁家没有个几个十系统在跑啊。如何监控这几十个系统的运行状况,对于非运营人员来说,太TM五花八门了。。 背景就不多说了,谁家没有个几个十系统在跑啊。如何监控这几十个系统的运行状况 阅读全文
-
搭建ELK 6
摘要:ELK 6.2.4搭建 https://www.cnblogs.com/harvey2017/p/8922164.html 开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站:https://www 阅读全文
-
numpy
摘要:numpy使用总结 numpy是Python中常用的数据处理库的基础库,一般通过import numpy as np的方式导进 科学计算库numpy 在numpy中,主要的数据结构是ndarray,在numpy中称为数组,其中二维数组对应于数学上的矩阵,是数据处理中的常见结构 numpy的创建 可以 阅读全文