11 2021 档案
发表于 2021-11-29 16:48阅读：53评论：0推荐：0
摘要：kafka安装部署 安装 安装版本 kafka_2.12-1.0.0.tgz 解压 cd /opt/software/ tar -xvf kafka_2.12-1.0.0.tgz -C ../app/ 映射，方便后续升级,后面分发后，每台都需要配置 ln -s kafka_2.12-1.0.0 ka
阅读全文 »
发表于 2021-11-25 15:29阅读：163评论：0推荐：0
摘要：一、Logstash 入门及运行机制 1-1 入门及架构简介 架构简介 主要分为三个阶段 Input【数据采集】-> Filter【数据解析/转换】-> Output【数据输出】 Pipeline input-filter-output 的三阶段处理流程 队列管理 插件生命周期管理 Logstash
阅读全文 »
发表于 2021-11-23 16:03阅读：85评论：0推荐：0
摘要：一、Elasticsearch 入门 1-1 术语介绍 Elasticsearch——Mysql结构对照表： 文档 Document 用户存储在ES中的数据文档 个人理解：相当于数据库中的一行数据，有不同的字段。 索引 Index 具有相同字段的文档列表组成 个人理解：由相同字段的文档组成 类型 T
阅读全文 »
发表于 2021-11-19 15:42阅读：184评论：0推荐：0
摘要：初识Ruby Ruby:主要是喜欢让人快乐 第一章、Ruby起步 1、Ruby简介 ruby优点 1.Ruby是脚本语言，不需要编译。 2.代码少，效率高 3.不关心变量的类型，非常省心 4.Ruby生产效率极高 学习Ruby的知识点 1.安装、调试、查看api 2.熟悉基本语法 3.熟悉常见的bl
阅读全文 »
发表于 2021-11-11 17:00阅读：43评论：0推荐：0
摘要：冒泡排序 1、比较数组中，两个相邻的元素，如果第一个比第二个数大，我们就交换它们的位置 2、每一次比较都会产生出一个最大或者最小的数字 3、依次循环，直到结束！ public static int[] sort(int[] array) { //临时变量 int temp = 0; //外层循环，判
阅读全文 »
发表于 2021-11-11 16:54阅读：46评论：0推荐：0
摘要：生产中比较简单且常用的方法 long startTime = System.currentTimeMillis(); //中间程序或者方法 long endTime = System.currentTimeMillis(); long handleTime = endTime -startTime;
阅读全文 »
发表于 2021-11-05 17:34阅读：175评论：0推荐：0
摘要：导言 1.为什么要写这篇文章？ 在我最开始接触Logstah的时候，我认为Logstash只是Elasticsearch的附属，仅仅给ES提供数据处理功能。直到，我更多的使用Logstash后，才发现Logstash的强大，便想将这个软件分享给大家，也是我写写篇文章的初心。 2.Logstah能做什
阅读全文 »
发表于 2021-11-05 16:00阅读：3082评论：0推荐：0
摘要：Elasticsearch 单节点登录认证 1.在 elasticsearch.yml 中添加如下配置 # 配置X-Pack http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-headers: Authorizat
阅读全文 »
发表于 2021-11-05 15:33阅读：25评论：0推荐：1
摘要：
阅读全文 »
发表于 2021-11-05 15:19阅读：669评论：0推荐：0
摘要：Flink_pom <!-- 指定仓库位置，依次为aliyun、apache和cloudera仓库 --> <repositories> <repository> <id>aliyun</id> <url>http://maven.aliyun.com/nexus/content/groups/pu
阅读全文 »
发表于 2021-11-05 15:16阅读：1337评论：0推荐：0
摘要：CDH6.3.2 启动命令 启动mysql [mysqladmin@node1 ~]$ service mysql start #查看日志 cd /var/log/cloudera-scm-server #启动 【启动后可以查看日志】 启动大概需要1分钟 [root@node1 ~]# servic
阅读全文 »
发表于 2021-11-05 14:49阅读：301评论：0推荐：0
摘要：Elasticsearch环境 环境配置【以下均要在三台服务器执行】 集群创建ES用户【root用户】 useradd elastic passwd elastic #输入es用户的密码 userdel -r elastic #如果错了，可以删除再加 三台机器配置ES的sudo权限 #100行左右添
阅读全文 »
发表于 2021-11-05 14:47阅读：116评论：0推荐：0
摘要：gpt分区、挂载 1>查看Linux有几块磁盘 lsblk 2>查看磁盘个分区大小，已用空间信息等 de -h 3>查看内存 free -m 分区 #对sdb分区操作 parted /dev/sdb mklabel gpt #对sdb创建第一个分区，执行这个命令，会擦除所有数据，第二个分区不用在执行
阅读全文 »
发表于 2021-11-05 14:41阅读：4133评论：0推荐：0
摘要：一文带你了解Postman操作ES 查询模版 先来点干货：常用的查询模版 ，这个模版基本满足生产查询要求 注释我这里注释，在执行时去掉，只是给大家看一下什么意思 例举一个请求：ES7.x后type默认为_doc,将test替换为_doc { "query" : { "bool" : { "filte
阅读全文 »
发表于 2021-11-03 17:49阅读：216评论：0推荐：0
摘要：kafka操作文档 前提 1.为什么要写这篇操作文档？ 我们在大数据开发过程中，大部分数据都来自kafka，熟练操作kafka命令是必要的 2.这边文章解决什么问题？ 满足一些日常工作中kafka的消费命令 生产使用 需求文档会提供：kafka目录、topic、kafak地址 下面是我的测试 kaf
阅读全文 »
