摘要:一、DS概述 1、DS是什么 官网:https://dolphinscheduler.apache.org/en-us/index.html logo: 跟Azkaban等流⾏的⼯工作流调度引擎⽐比较如下: 2、特性 3、谁在使用 二、DS源码编译 1、版本规划 DS在成为Apache孵化项⽬目之后
阅读全文
摘要:一、Wormhole概述 1、Wormhole是什么 2、为什么会有Wormhole 3、设计理念 4、主要特性 5、核心概念 参考:https://edp963.github.io/wormhole/concept.html Namespace(命名空间) Namespace是Wormhole定义
阅读全文
摘要:1、安装Elasticsearch https://www.elastic.co/guide/en/elastic-stack-get-started/7.4/get-started-elastic-stack.html 下载并解压缩 cd ~/app; curl -L -O https://art
阅读全文
摘要:1、准备一台虚拟机 1.1 配置静态ip 可以参考 https://www.cnblogs.com/braveym/p/9096402.html 1.2给hadoop用户赋予root权限 切换到root用户 并输入命令 visudo 这时会进入/etc/sudoers文件的编辑页面,增加如下配置即可
阅读全文
摘要:1、编译DBus源代码 DBus本身是一个前后端分离的maven多模块项目,前端基于React,后端基于SpringCloud全家桶 。到 https://github.com/BriData/DBus 拉取源码 我本地已经安装好了 通过git工具拉取代码到本地 git clone https://
阅读全文
摘要:1、什么是DBus DBus(数据总线)项目为了统一数据采集需求而生, 专注于数据的收集及实时数据流计算,通过简单灵活的配置,以无侵入的方式对源端数据进行采集,采用高可用的流式计算框架,对公司各个IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数
阅读全文
摘要:kafka是什么Kafka最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的,发布/订阅模式的消息队列(Message Queue),Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展,Kafka已经由最初的日志
阅读全文
摘要:1.HBase shell操作 hbase shell 查看版本 version 查看服务状态 status 查看有哪些表 list 创建表 create 'students','info' list 查看表结构 describe 'students' 插入数据 put 'students','10
阅读全文
摘要:版本规划 安装VirtualBox 然后直接一路下一步 选择一下安装路径 这时VirtualBox会自动运行,主界面如下 : 安装VirtualBox Extension Pack VirtualBox的一些高级特性依赖于VirtualBox Extension Pack,接下来我们安装它。在Vir
阅读全文