03 2023 档案
摘要:下载地址: https://github.com/MyCATApache/Mycat2https://gitee.com/mirrors/Mycat2https://gitee.com/MycatOne/Mycat2
阅读全文
摘要:1.认识主从复制 主从复制是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库服务器,主服务器中的数据自动复制到从服务器之中。对于多级复制,数据库服务器即可充当主机,也可以充当从机。MySQL主从复制的基础是主服务器对数据库修改记录二进制日志,从服务器通过主服务器的二进制日志自动执行更新
阅读全文
摘要:2.1 Kettle下载 2.1.1 下载地址 管网地址:https://community.hitachivantara.com/docs/DOC-10009855 下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integra
阅读全文
摘要:1.1 ETL简介 ETL(数据抽取、转换、装在的过程)对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种ETL工具的使用,必不可少。 市面上常用的ETL工具有很多,比如Soop,DataX,Kettle,Taland等,作为一个大数据工程师,我们最好要掌握其中的两
阅读全文
摘要:1.DataX Web是什么 DataX web是在DataX的基础上开发的分布式的数据同步工具,方便DataX的用户在网页上通过点击和配置就能完成DataX任务的配置和执行等动作。同时,DataX web是基于xxl-job进行二次开发的DataX任务管理后台,天生支持任务定时调度、日志查看等功能
阅读全文
摘要:第三章 使用案例 3.1 从stream流读取数据并打印到控制台 1)查看配置模板 python datax.py -r streamreader -w streamwriter 查看读和写的模板 python datax.py -r streamreader -w streamwriter 3.2
阅读全文
摘要:第二章 安装&体验 2.1 官方地址 下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 源码地址:https://github.com/alibaba/DataX 2.2前置要求 Linux JDK(1.8以
阅读全文
摘要:管网地址:https://github.com/alibaba/DataX 第一章 概述 1.1 什么是DataX DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、
阅读全文
摘要:在bin文件夹下增加配置 mongod.cfg systemLog: destination: file path: c:\data\log\mongod.log storage: dbPath: c:\data\db net: bindIp: 127.0.0.1,0.0.0.0 port: 270
阅读全文