摘要:目录介绍扩展性与可恢复性clientSet up ElasticsearchInstalling ESConfiguring ESImportant system configurationBootstrap ChecksBootstrap Checks for X-PackStarting Ela
阅读全文
摘要:目录使用本地安装gradle下载相关依赖(加速下载)本地编译本地调试 使用本地安装gradle下载相关依赖(加速下载) 在gradle安装目录下的init.d目录中,创建初始化脚本init.gradle,添加如下脚本,将其中的maven仓库源全部换成国内镜像 allprojects{ reposit
阅读全文
摘要:目录查看集群状态查看配置修改配置查询数据kibana操作 查看集群状态 # 查看集群健康状态 curl http://*:9200/_cluster/health?pretty # 查询节点当前状态 curl http://*:9200/_nodes/stats?pretty # 查看所有索引状态
阅读全文
摘要:准备工作 官方文档:https://nightlies.apache.org/flink/flink-docs-release-1.11/ops/deployment/hadoop.html flink-shaded源码地址:https://github.com/apache/flink-shade
阅读全文
摘要:多线程提交多个flinkJob 如果代码只是flinkJob代码,要保证创建多个线程的这个线程(main)在代码执行结束前完成flinkJob的提交(main线程sleep 10s),否则main线程退出,提交flinkJob的线程还没有完成提交那么这些线程就会退出。在main线程退出后,这些子线程
阅读全文
摘要:ElasticSearch概述 官网:https://www.elastic.co/ The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack),能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行
阅读全文
摘要:目录Fink简介简单入门Flink安装部署Standalone模式Yarn模式Kubernetes部署Flink运行架构运行时四大组件任务提交流程任务调度原理Flink流处理API执行环境(Environment)数据源(Source)转换算子(Transform)Fink支持的数据类型自定义函数(
阅读全文
摘要:Windows下安装Elasticsearch 官网下载:https://www.elastic.co/downloads/elasticsearch , elasticsearch-7.8.0-no-jdk-windows-x86_64.zip,要求已经配置JAVA_HOME环境变量 单节点安装:
阅读全文
摘要:目录 01 Coudera Manager 02 环境准备 03 CM安装 01 Coudera Manager 概念:拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具,使集群安装从几天时间缩短到几个小时,运维人员从几十人降低到几人,极大的提高集群管理的效率功能 管理,对集群进行管理,如
阅读全文
摘要:目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要注册一个账号,下面的链接进入后需要登录,也可以自行在上面的下载页面找。 CDH 6.2.0,下载地址
阅读全文
摘要:[TOC] # Kafka概述 - 定义:分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 - 消息队列的好处: - 解耦:允许独立的扩展或修改数据生产者消费者,只需要确保同样的接口约束。 - 可恢复性:一部分组件失效,不会影响整个系统。消息队列降低进程间的耦合度,即使一个处理消
阅读全文
摘要:第1章 ZooKeeper入门 Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的Apache 项目。ZooKeeper=文件系统+通知机制 第2章 ZooKeeper安装 安装jdk解压ZooKeeper配置修改: 修改/opt/module/zookeeper-3.4.10/c
阅读全文