摘要:
java软件包下载地址: 链接:https://pan.baidu.com/s/1NHGf1q__0KCpbNktJDF7Ew 提取码:vhwi echo "具体软件名称和路径根据实际情况而定" cd /usr/local/src tar -zxv -f jdk-8u221-linux-x64.ta 阅读全文
摘要:
注:这篇文章参考网络,有些称呼都变了,比如阿里云上的现在是弹性ip 包括阿里云在内的很多云环境,因为不支持浮动IP广受诟病。目前阿里云在VPC网络下发布了HAVIP,能够实现arp宣告IP。这样也就让自己搭建HA成为了可能,有幸拿到了内测权限体验了一下。(classical网络依然不支持) 测试环境 阅读全文
摘要:
说明:没用虚拟环境 1. 安装nginx,并新建一个conf配置文件,启动nginx 2. 安装uwsgi 3. flask程序 阅读全文
摘要:
ElasticStack从2019年1月29日的6.6.0版本的开始,引入了索引生命周期管理的功能,新版本的Filebeat则默认的配置开启了ILM,导致索引的命名规则被ILM策略控制。 加上这个配置就好了: filebeat 配置关闭 ILM 即可解决Index Pattern不生效的问题 具体配 阅读全文
摘要:
前提条件:kibana文件是属于kibana用户的 注意:路径根据具体实际情况修改 更改日志所属用户和用户组 chown kibana:kibana /usr/local/kibana 7.5.1 linux x86_64/kibana.log 启动脚本:start.sh 停止脚本:stop.sh 阅读全文
摘要:
filebeat配置文件: logstash输出到es 注意:index索引这儿需要加上中括号[] 阅读全文
摘要:
一个简单的栗子 FASTAPI继承Starlette,因此在Starlette中的所有可调用的对象在FASTAPI中可以直接引用 编写步骤 步骤一:导入FastAPI 步骤二:创建FastAPI实例 步骤三:创建访问路径 这个路径告诉FastAPI,该装饰器下的方法是用来处理路径是“/”的GET请求 阅读全文
摘要:
fastapi是高性能的web框架。他的主要特点是: 快速编码 减少人为bug 直观 简易 具有交互式文档 基于API的开放标准(并与之完全兼容):OpenAPI(以前称为Swagger)和JSON Schema。 技术背景:python3.6+、Starlette、Pydantic 官方文档地址: 阅读全文
摘要:
PostgreSQL10版本的主从安装配置在 https://www.cnblogs.com/virtulreal/p/11675841.html 一、下载安装 1、创建PostgreSQL9.6的yum源文件 2、安装PostgreSQL客户端 3、安装PostgreSQL服务端 4、安装Post 阅读全文
摘要:
harbor helm仓库使用 官方文档地址:https://github.com/goharbor/harbor Monocular 从1.0 开始专注于helm 的UI展示,对于部署以及维护已经去掉了,官方也提供了相关的说明以及推荐了几个可选的部署工具,从使用以及架构上来说kubeapps 就是 阅读全文
摘要:
1. Dockerfile内容基础知识 每条保留字指令都必须为大写字母且后面要跟随至少一个参数 指令按照从上到下,顺序执行 表示注释 每条指令都会创建一个新的镜像层,并对镜像进行提交 2. Docker执行Dockerfile的大致流程 docker从基础镜像运行一个容器 执行一条指令并对容器作出修 阅读全文
摘要:
``` Master 负责管理集群 负责协调集群中的所有活动,例如调度应用程序,维护应用程序的状态,扩展和更新应用程序。 Worker节点是VM(虚拟机)或物理计算机,充当k8s集群中的工作计算机。 每个Worker节点都有一个Kubelet,它管理一个Worker节点并与负责与Master节点通信。该Worker节点还应具有用于处理容器操作的工具,例如Docker。 执行命令 kubectl g 阅读全文
摘要:
在今天的文章中,我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。为了说明问题的方便,我们的测试系统的配置是这样的: 我有一台MacOS机器。在上面我安装了Elasticsearch及Kibana。在这个机器里,我同时安装了一个Ubuntu 18.04 阅读全文
摘要:
text类型 keyword Dynamic dynamic属性:默认值为true,允许动态地向文档类型中加入新的字段。推荐设置为false,禁止向文档中添加字段,这样,文档类型的所有字段必须在索引映射的properties属性中显式定义,在properties字段中未定义的字段都将会Elastic 阅读全文
摘要:
在Filebeat的根目录下,有一个叫做filebeat.yml的文件。 这里需要注意的是之前有的文章里第一行写的是filebeat.prospectors。经过测试在新的版本里不再适用。 通过如下的命令来运行filebeat: 在默认的情况下,filebeat会自动寻找定义在filebeat.ym 阅读全文
摘要:
0. Logstash是位于Data和Elasticsearch之间的一个中间件。Logstash是一个功能强大的工具,可与各种部署集成。 它提供了大量插件。 它从数据源实时地把数据进行采集,可帮助您解析,丰富,转换和缓冲来自各种来源的数据,并最终把数据传入到Elasticsearch之中。 如果您 阅读全文
摘要:
path.data和path.logs 如果您使用.zip或.tar.gz存档,则data和logs 目录是子文件夹$ES_HOME。如果这些重要文件夹保留在其默认位置,则在将Elasticsearch升级到新版本时,存在删除它们的高风险。 在生产使用中,您肯定会想要更改数据和日志文件夹的位置: 该 阅读全文
摘要:
Elasticsearch数据迁移:windows单节点迁移到windows 将源数据中的ES安装目录下的data/nodes目录整体拷贝到目标ES的对应目录下 迁移前请备份;迁移后需要重启ES; Elasticsearch数据迁移:windows单节点迁移到Linux 将windows源数据中的E 阅读全文
摘要:
Elasticsearch使用Log4j 2进行日志记录。可以使用log4j2.properties文件配置Log4j2。 Elasticsearch公开三个属性 ${sys:es.logs.base_path}, ${sys:es.logs.cluster_name} ${sys:es.logs. 阅读全文
摘要:
1.metricbeat中启动自动加载模块 2.开启kibana中的dashboard功能 然后启动metricbeat 3.启动zookeeper模块 会看到目录modules.d下的zookeeper.yml.disabled变成zookeeper.yml 4.编辑zookeeper.yml,配 阅读全文
摘要:
2个字段的: 3个字段的: 4个字段的: 阅读全文
摘要:
日志传输路径如下: filebeat redis logstash es 在filebeat配置文件中,收集日志的时候配置的有如下参数: 表示的是会把log_source作为fields的二级字段 若是配置如下,表示的是会把log_source作为顶级字段: 使用这个字段来作为区分不同应用日志的来源 阅读全文
摘要:
开启X Pack Management功能后,启动logstsh的时候就不用再配置logstash.conf文件了,启动的时候也不用再使用 指定这个文件进行启动了 一旦启动了logstash的集中管理,我们就可以直接启动logstash,而不用跟任何的参数 Logstash集中管理,先启动logst 阅读全文
摘要:
若有意向,可通过下方的邮箱发邮件进行咨询,非诚勿扰。。 邮箱地址:sandu12345@msn.cn 阅读全文
该文被密码保护。 阅读全文
摘要:
解压cert.zip文件会得到 es配置文件中使用如下: 阅读全文
摘要:
在elasticsearch.yml中添加如下三行配置 http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-headers: Authorization,X-Requested-With,Content-Length 阅读全文
该文被密码保护。 阅读全文
摘要:
默认情况下,对字段值进行索引以使其可搜索,但不存储它们 (store)。 这意味着可以查询该字段,但是无法检索原始字段值。在这里我们必须理解的一点是: 如果一个字段的mapping中含有store属性为true,那么有一个单独的存储空间为这个字段做存储,而且这个存储是独立于 的存储的。它具有更快的查 阅读全文
摘要:
ElastAlert是一个简单的框架,用于从Elasticsearch中的数据中发出异常,尖峰或其他感兴趣模式的警报。我们可以在地址https://elastalert.readthedocs.io/en/latest/elastalert.html找到它的使用说明。在今天的教程中,我将一步一步地介 阅读全文
摘要:
1. 某个字段不被搜索,也就是说不想为这个字段建立inverted index(反向索引),可以这么做: 通过mapping对user字段进行了修改: 不想我们的整个文档被搜索: 2. 不想存储任何的字段,也就是说不在 中存储数据,它有完好的inverted index供查询,虽然它没有字的sour 阅读全文
摘要:
date命令可以获取当前的时间,通过man,可以看到date有很多参数可以用,很容易做到格式化 如果要获取相对当前时间的某个时间,需要怎么做,通过 d 参数就能实现 如果说我想获取13天前的时间怎么办, d参数还有更加灵活的用法 第一个数字可以是负数,负数表示将来时间,正数表示前面已经过去的时间,第 阅读全文
摘要:
在本篇文章里,我将详细介绍如果启动Logstash的监控及集中管理。 前提条件 安装好Logstash,设置Elasticsearch及Kibana的安全密码。 如何监控Logstash? 我们安装如下的步骤来实现监控Logstash的目的: Step 1: 在Kibana中启动监控: 然后,我们可 阅读全文
摘要:
我们可以点击Elasticsearch API以获取所需的响应,但是如果要修改API响应,以便我们更改显示格式或过滤掉某些字段,然后我们可以将这些选项与查询一起应用。 有一些常见的选项可以适用于API,在下面我们来介绍一些常用的选项。 准备数据 我们首先使用Bulk API来把我们的文档导入到Ela 阅读全文
摘要:
1.配置阿里云yum仓库 #vim /etc/yum.repos.d/mongodb-org-4.0.repo [mngodb-org] name=MongoDB Repository baseurl=http://mirrors.aliyun.com/mongodb/yum/redhat/7Ser 阅读全文
摘要:
转载自:https://www.lbbniu.com/6148.html 1、什么是堆内存? Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。 在 Java 中,堆被划分成两个不同的区域: 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Yo 阅读全文
摘要:
官方的操作: 1.安装filebeat,配置filebeat获取nginx日志,来源有两种: 第一种是使用自带的模块进行收集,在modules.d目录中启用模块配置,运行Filebeat时启用模块,在filebeat.yml文件中启用模块配置 第二种是在filebeat.yml中写input日志所在 阅读全文
摘要:
Elastic官方博客地址:https://blog.csdn.net/UbuntuTouch 这个地址是在CSDN上面的,看不惯CSDN网站的广告,同时官方博客讲述的也都十分详细,自己保留一份作为参考。 因为文章太多,就没有逐个在文章中表明转载的信息,所以专门写一篇转载的用来说明这个情况。 阅读全文
摘要:
我们将介绍使用function_score的基础知识,并介绍一些function core技术非常有用和有效的用例。 介绍 评分的概念是任何搜索引擎(包括Elasticsearch)的核心。评分可以粗略地定义为:找到符合一组标准的数据并按相关性顺序将其返回。相关性通常是通过类似TF IDF的算法来实 阅读全文
摘要:
在今天的文章里,我们来主要介绍一下Elasticsearch的refresh及flush两种操作的区别。如果我们从字面的意思上讲,好像都是刷新的意思。但是在Elasticsearch中,这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍Lucene功能的基础知识,例如重新打 阅读全文