上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 53 下一页
摘要: MongoDB sort() 方法 在 MongoDB 中使用 sort() 方法对数据进行排序,sort() 方法可以通过参数指定排序的字段,并使用 1 和 -1 来指定排序的方式,其中 1 为升序排列,而 -1 是用于降序排列。 语法 sort()方法基本语法如下所示: >db.COLLECTI 阅读全文
posted @ 2020-11-09 15:47 哈喽哈喽111111 阅读(588) 评论(0) 推荐(0) 编辑
摘要: MongoDB Limit() 方法 如果你需要在MongoDB中读取指定数量的数据记录,可以使用MongoDB的Limit方法,limit()方法接受一个数字参数,该参数指定从MongoDB中读取的记录条数。 语法 limit()方法基本语法如下所示: >db.COLLECTION_NAME.fi 阅读全文
posted @ 2020-11-09 15:36 哈喽哈喽111111 阅读(611) 评论(0) 推荐(0) 编辑
摘要: 描述 $type操作符是基于BSON类型来检索集合中匹配的数据类型,并返回结果。 MongoDB 中可以使用的类型如下表所示: 类型 数字 备注 Double 1 String 2 Object 3 Array 4 Binary data 5 Undefined 6 已废弃。 Object id 7 阅读全文
posted @ 2020-11-09 14:48 哈喽哈喽111111 阅读(321) 评论(0) 推荐(0) 编辑
摘要: 描述 条件操作符用于比较两个表达式并从mongoDB集合中获取数据。 在本章节中,我们将讨论如何在MongoDB中使用条件操作符。 MongoDB中条件操作符有: (>) 大于 - $gt (<) 小于 - $lt (>=) 大于等于 - $gte (<= ) 小于等于 - $lte 我们使用的数据 阅读全文
posted @ 2020-11-09 14:40 哈喽哈喽111111 阅读(338) 评论(0) 推荐(0) 编辑
摘要: MongoDB 查询文档使用 find() 方法。 find() 方法以非结构化的方式来显示所有文档。 语法 MongoDB 查询数据的语法格式如下: db.collection.find(query, projection) query :可选,使用查询操作符指定查询条件 projection : 阅读全文
posted @ 2020-11-09 14:25 哈喽哈喽111111 阅读(195) 评论(0) 推荐(0) 编辑
摘要: MongoDB remove()函数是用来移除集合中的数据。 MongoDB数据更新可以使用update()函数。在执行remove()函数前先执行find()命令来判断执行的条件是否正确,这是一个比较好的习惯。 语法 remove() 方法的基本语法格式如下所示: db.collection.re 阅读全文
posted @ 2020-11-09 14:16 哈喽哈喽111111 阅读(135) 评论(0) 推荐(0) 编辑
摘要: MongoDB 使用 update() 和 save() 方法来更新集合中的文档。接下来让我们详细来看下两个函数的应用及其区别。 update() 方法 update() 方法用于更新已存在的文档。语法格式如下: db.collection.update( <query>, <update>, { 阅读全文
posted @ 2020-11-09 14:09 哈喽哈喽111111 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 文档的数据结构和 JSON 基本一样。 所有存储在集合中的数据都是 BSON 格式。 BSON 是一种类似 JSON 的二进制形式的存储格式,是 Binary JSON 的简称。 插入文档 MongoDB 使用 insert() 或 save() 方法向集合中插入文档,语法如下: db.COLLEC 阅读全文
posted @ 2020-11-09 13:54 哈喽哈喽111111 阅读(140) 评论(0) 推荐(0) 编辑
摘要: MongoDB 中使用 drop() 方法来删除集合。 语法格式: db.collection.drop() 参数说明: 无 返回值 如果成功删除选定集合,则 drop() 方法返回 true,否则返回 false。 实例 在数据库 mydb 中,我们可以先通过 show collections 命 阅读全文
posted @ 2020-11-09 12:10 哈喽哈喽111111 阅读(339) 评论(0) 推荐(0) 编辑
摘要: MongoDB 中使用 createCollection() 方法来创建集合。 语法格式: db.createCollection(name, options) 参数说明: name: 要创建的集合名称 options: 可选参数, 指定有关内存大小及索引的选项 options 可以是如下参数: 字 阅读全文
posted @ 2020-11-09 12:07 哈喽哈喽111111 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 语法 MongoDB 删除数据库的语法格式如下: db.dropDatabase() 删除当前数据库,默认为 test,你可以使用 db 命令查看当前数据库名。 实例 以下实例我们删除了数据库 baidu。 首先,查看所有数据库: > show dbs admin 0.000GB config 0. 阅读全文
posted @ 2020-11-09 12:02 哈喽哈喽111111 阅读(214) 评论(0) 推荐(0) 编辑
摘要: 语法 MongoDB 创建数据库的语法格式如下: use DATABASE_NAME 如果数据库不存在,则创建数据库,否则切换到指定数据库。 实例 以下实例我们创建了数据库 baidu: > use baidu switched to db baidu > db baidu > 如果你想查看所有数据 阅读全文
posted @ 2020-11-09 11:53 哈喽哈喽111111 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 标准 URI 连接语法: mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]] mongodb:// 这是固定的格式,必须要指定。 username 阅读全文
posted @ 2020-11-09 11:47 哈喽哈喽111111 阅读(357) 评论(0) 推荐(0) 编辑
摘要: 安装 MongoDB 提供了 linux 各个发行版本 64 位的安装包,你可以在官网下载安装包。 安装前我们需要安装各个 Linux 平台依赖包。 Red Hat/CentOS: sudo yum install libcurl openssl MongoDB 源码下载地址:https://www 阅读全文
posted @ 2020-11-09 11:40 哈喽哈喽111111 阅读(249) 评论(0) 推荐(0) 编辑
摘要: SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段/域 index index 索引 table joins 表连接,Mo 阅读全文
posted @ 2020-11-09 11:30 哈喽哈喽111111 阅读(78) 评论(0) 推荐(0) 编辑
摘要: 官方文档地址:https://docs.fluentd.org/output/mongo_replset td-agent版本默认没有包含out_mongo插件,需要安装这个插件才能使用 使用的是td-agent,安装这个插件: $ /usr/sbin/td-agent-gem install ge 阅读全文
posted @ 2020-11-06 16:18 哈喽哈喽111111 阅读(177) 评论(0) 推荐(0) 编辑
摘要: linux主机ip:192.168.0.253 1. 创建网络与容器 docker pull mongo docker network create mongo-rs docker run --name mongo1 -p 27027:27027 --net mongo-rs -d mongo mo 阅读全文
posted @ 2020-11-06 15:52 哈喽哈喽111111 阅读(1423) 评论(1) 推荐(1) 编辑
摘要: 官方文档地址:https://docs.fluentd.org/output/mongo td-agent版本默认没有包含out_mongo插件,需要安装这个插件才能使用 使用的是td-agent,安装这个插件: $ /usr/sbin/td-agent-gem install gems $ /us 阅读全文
posted @ 2020-11-06 12:47 哈喽哈喽111111 阅读(406) 评论(0) 推荐(0) 编辑
摘要: 官方文档地址:https://docs.fluentd.org/deployment/plugin-management 命令fluent-gem是Fluentd用来安装插件的,它是gem命令的包装器。 比如:fluent-gem install fluent-plugin-grep 如果使用的是t 阅读全文
posted @ 2020-11-06 12:30 哈喽哈喽111111 阅读(1299) 评论(0) 推荐(0) 编辑
摘要: 安装 # 拉取镜像 docker pull mongo # 运行容器 docker run -itd --name mongo -p 27017:27017 mongo --auth 参数说明: -p 27017:27017 :映射容器服务的 27017 端口到宿主机的 27017 端口。外部可以直 阅读全文
posted @ 2020-11-06 11:09 哈喽哈喽111111 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 安装 # 拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka # 启动zookeeper容器(Zookeeper用于崩溃检测,实现Topic发现,和维护Topic的生产和消费状态) docker run -t 阅读全文
posted @ 2020-11-05 17:35 哈喽哈喽111111 阅读(353) 评论(0) 推荐(0) 编辑
摘要: 官方文档地址:https://docs.fluentd.org/output/kafka td-agent版本自带包含out_kafka2插件,不用再安装了,可以直接使用。 若是使用的是Fluentd,则需要安装这个插件: $ fluent-gem install fluent-plugin-kaf 阅读全文
posted @ 2020-11-05 17:14 哈喽哈喽111111 阅读(3412) 评论(0) 推荐(0) 编辑
摘要: 官方文档地址:https://docs.fluentd.org/output/elasticsearch td-agent的v3.0.1版本以后自带包含out_elasticsearch插件,不用再安装了,可以直接使用。 若是使用的是Fluentd,则需要安装这个插件: $ fluent-gem i 阅读全文
posted @ 2020-11-05 15:50 哈喽哈喽111111 阅读(3591) 评论(0) 推荐(0) 编辑
摘要: 官方地址:https://docs.fluentd.org/quickstart/td-agent-v2-vs-v3-vs-v4 阅读全文
posted @ 2020-11-05 09:09 哈喽哈喽111111 阅读(614) 评论(0) 推荐(0) 编辑
摘要: 说明: 1.该镜像内默认配置文件路径是/fluentd/etc/fluent.conf 2.该镜像默认启用tcp的5140和24224端口 3.镜像dockerhub地址:https://hub.docker.com/_/fluentd 4.版本 # 拉取镜像 docker pull fluentd 阅读全文
posted @ 2020-11-04 17:10 哈喽哈喽111111 阅读(2604) 评论(0) 推荐(0) 编辑
摘要: 我们在做日志处理时,往往会从多个源服务器收集日志,然后在一个(或一组)中心服务器做日志聚合分析。 源服务器上的日志可能属于同一应用类型,也可能属于不同应用类型。我们可能需要在聚合服务器上对这些不同类型的日志分类处理,一个实现方法就是在Fluentd内部重新给这些日志打tag,然后重新路由到合适的ou 阅读全文
posted @ 2020-11-04 14:46 哈喽哈喽111111 阅读(948) 评论(0) 推荐(0) 编辑
摘要: in_http插件允许使用HTTP协议来采集日志事件。这个插件会建立一个支持REST风格的HTTP端点,来接收日志事件请求。 配置示例 <source> @type http port 9880 bind 0.0.0.0 body_size_limit 32m keepalive_timeout 1 阅读全文
posted @ 2020-11-04 14:37 哈喽哈喽111111 阅读(517) 评论(0) 推荐(0) 编辑
摘要: stdout即标准输出,out_stdout将收到的日志事件打印到标准输出。 如果Fluentd以daemon方式在后台运行,out_stdout会将事件输出到Fluentd的运行日志中。 这个插件在调试时非常有用。 通常,我们在使用其他输出插件时,如果在目的接收端收不到日志,或收到的日志数据不准确 阅读全文
posted @ 2020-11-04 14:21 哈喽哈喽111111 阅读(596) 评论(0) 推荐(0) 编辑
摘要: copy即复制,out_copy的作用就是将日志事件复制到多个输出,这样就可以对同一份日志做不同类型的分析处理。 out_copy内置于Fluentd,无需单独安装。 示例配置 <match pattern> @type copy <store> @type file path /var/log/f 阅读全文
posted @ 2020-11-04 14:18 哈喽哈喽111111 阅读(328) 评论(0) 推荐(0) 编辑
摘要: in_tail输入插件内置于Fluentd中,无需安装。 它允许fluentd从文本文件尾部读取日志事件,其行为类似linux的tail -F命令(按文件名来tail)。 这几乎是最常用的一个输入插件了。 示例配置 <source> @type tail path /var/log/httpd-ac 阅读全文
posted @ 2020-11-03 17:56 哈喽哈喽111111 阅读(1518) 评论(0) 推荐(0) 编辑
摘要: out_forward是一个带缓存的输出插件,用于向其他节点转发日志事件,并支持转发节点之间的负载均衡和自动故障切换。 out_forward支持至多一次和至少一次传输模式,默认为至多一次。 out_forward内置于Fluentd,无需安装。 1.示例配置 <match pattern> @ty 阅读全文
posted @ 2020-11-03 17:45 哈喽哈喽111111 阅读(480) 评论(0) 推荐(0) 编辑
摘要: in_forward插件通常用于从其他节点接收日志事件,这些节点包括其他Fluentd实例、fluent-cat命令行或者Fluentd客户端程序。这是目前效率最高的日志事件接收方法。 in_forward插件会在本地打开一个tcp监听socket,用于接收日志事件。同时,它也会开启一个udp端口用 阅读全文
posted @ 2020-11-03 17:39 哈喽哈喽111111 阅读(563) 评论(0) 推荐(0) 编辑
摘要: 通过一个例子进行阶段总结。 本示例使用到如下插件:in_tail, out_copy, out_stdout, out_forward, in_forward。 本示例包含两个节点: node_forwarder: 使用in_tail收集nginx的access日志,将其输出到stdout,同时通过 阅读全文
posted @ 2020-11-03 17:32 哈喽哈喽111111 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 告警是预防系统故障的一个重要工具,目前已经有许多成熟的方案通过监控系统运行指标来进行阈值预警。今天简单了解一下如何使用Fluentd实现邮件告警功能。 Fluentd的告警是基于日志分析实现的,通过监测日志中的业务状态信息,及时识别严重错误,实时发送告警信息。 以分析Apache的访问日志为例,了解 阅读全文
posted @ 2020-11-03 17:25 哈喽哈喽111111 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 在某些日志采集场景中,我们需要对数据流进行一些转换。比如,我们可能需要从日志记录中提取某些字段以进行错误告警,或向日志记录中插入新的字段用以后续的分析。 本文简单介绍一下使用Fluentd进行数据操作的技术细节。 根据日志字段取值来过滤事件 谈到过滤,我们通常会想到正则表达式,在linux中通常使用 阅读全文
posted @ 2020-11-03 17:22 哈喽哈喽111111 阅读(704) 评论(0) 推荐(0) 编辑
摘要: Fluentd+MongoDB,用以实时收集半结构化数据。 背景知识 日志接入Fluentd后,会以json的格式在Fluentd内部进行路由。这就决定了Fluentd处理日志的方式是非常灵活的,它将日志视为半结构化数据,可以方便地修改其结构。 相应地,日志的最终存储数据库也应该擅长处理这样的半结构 阅读全文
posted @ 2020-11-03 17:17 哈喽哈喽111111 阅读(358) 评论(0) 推荐(0) 编辑
摘要: 收集日志是为了做进一步的分析。收集是第一步,收集到日志后还需要进行存储、索引,以便进行快速查询分析。我们还需要一个友好的查询界面,来方便用户使用日志。 本文介绍一个免费的开源软件组合,正好可以实现上述目的。它们就是Fluentd + Elasticsearch + Kibana,简称EFK。 Flu 阅读全文
posted @ 2020-11-03 17:10 哈喽哈喽111111 阅读(452) 评论(0) 推荐(0) 编辑
摘要: Fluentd系统配置项 https://www.cnblogs.com/sanduzxcvbnm/p/13920972.html Fluentd自身日志 https://www.cnblogs.com/sanduzxcvbnm/p/13921045.html 几种监控Fluentd的方法 http 阅读全文
posted @ 2020-11-03 16:57 哈喽哈喽111111 阅读(615) 评论(0) 推荐(0) 编辑
摘要: 介绍一下排查Fluentd运行时错误的几种方法。 查看日志 如果感觉Fluentd运行异常,请先查看日志。td-agent安装后,默认日志存放在/var/log/td-agent/td-agent.log。 开启详细日志 Fluentd日志支持多个级别,打开详细的日志有助于发现问题。有以下几种方法可 阅读全文
posted @ 2020-11-03 16:56 哈喽哈喽111111 阅读(806) 评论(0) 推荐(0) 编辑
摘要: 介绍如何使用Fluentd的多worker模式处理高访问量的日志事件。此模式会运行多个worker进程以最大利用多核CPU。 原理 默认情况下,一个Fluentd实例会运行一个监控进程和一个工作进程。工作进程包含了Input/Filter/Output各类插件。 多worker模式就是一个实例中启动 阅读全文
posted @ 2020-11-03 16:52 哈喽哈喽111111 阅读(935) 评论(0) 推荐(0) 编辑
上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 53 下一页