百里登风

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

随笔分类 -  大数据架构师学习

9、DolphinScheduler工作流调度引擎_1
摘要:一、DS概述 1、DS是什么 官网:https://dolphinscheduler.apache.org/en-us/index.html logo: 跟Azkaban等流⾏的⼯工作流调度引擎⽐比较如下: 2、特性 3、谁在使用 二、DS源码编译 1、版本规划 DS在成为Apache孵化项⽬目之后 阅读全文

posted @ 2023-07-10 18:07 百里登峰 阅读(358) 评论(0) 推荐(0) 编辑

8、Wormhole流处理平台
摘要:一、Wormhole概述 1、Wormhole是什么 2、为什么会有Wormhole 3、设计理念 4、主要特性 5、核心概念 参考:https://edp963.github.io/wormhole/concept.html Namespace(命名空间) Namespace是Wormhole定义 阅读全文

posted @ 2023-01-01 17:58 百里登峰 阅读(396) 评论(0) 推荐(0) 编辑

7、Canal实现MySQL到ES实时同步-2
摘要:1、安装Elasticsearch https://www.elastic.co/guide/en/elastic-stack-get-started/7.4/get-started-elastic-stack.html 下载并解压缩 cd ~/app; curl -L -O https://art 阅读全文

posted @ 2022-08-05 14:50 百里登峰 阅读(482) 评论(1) 推荐(0) 编辑

6、Canal实现MySQL到ES实时同步-1
摘要:1、准备一台虚拟机 1.1 配置静态ip 可以参考 https://www.cnblogs.com/braveym/p/9096402.html 1.2给hadoop用户赋予root权限 切换到root用户 并输入命令 visudo 这时会进入/etc/sudoers文件的编辑页面,增加如下配置即可 阅读全文

posted @ 2022-03-29 14:44 百里登峰 阅读(931) 评论(0) 推荐(0) 编辑

5.DBus学习-2
摘要:1、编译DBus源代码 DBus本身是一个前后端分离的maven多模块项目,前端基于React,后端基于SpringCloud全家桶 。到 https://github.com/BriData/DBus 拉取源码 我本地已经安装好了 通过git工具拉取代码到本地 git clone https:// 阅读全文

posted @ 2021-05-06 18:08 百里登峰 阅读(444) 评论(5) 推荐(1) 编辑

4.DBus学习-1
摘要:1、什么是DBus DBus(数据总线)项目为了统一数据采集需求而生, 专注于数据的收集及实时数据流计算,通过简单灵活的配置,以无侵入的方式对源端数据进行采集,采用高可用的流式计算框架,对公司各个IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数 阅读全文

posted @ 2020-08-02 17:20 百里登峰 阅读(555) 评论(0) 推荐(0) 编辑

3.kafka学习
摘要:kafka是什么Kafka最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的,发布/订阅模式的消息队列(Message Queue),Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展,Kafka已经由最初的日志 阅读全文

posted @ 2020-06-25 01:14 百里登峰 阅读(222) 评论(0) 推荐(0) 编辑

2.HBase相关学习
摘要:1.HBase shell操作 hbase shell 查看版本 version 查看服务状态 status 查看有哪些表 list 创建表 create 'students','info' list 查看表结构 describe 'students' 插入数据 put 'students','10 阅读全文

posted @ 2020-06-13 16:20 百里登峰 阅读(217) 评论(0) 推荐(0) 编辑

1.基于HDP大数据环境的搭建
摘要:版本规划 安装VirtualBox 然后直接一路下一步 选择一下安装路径 这时VirtualBox会自动运行,主界面如下 : 安装VirtualBox Extension Pack VirtualBox的一些高级特性依赖于VirtualBox Extension Pack,接下来我们安装它。在Vir 阅读全文

posted @ 2020-04-17 00:14 百里登峰 阅读(1247) 评论(1) 推荐(2) 编辑

点击右上角即可分享
微信分享提示