上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 50 下一页
摘要: 1.1 ETL简介 ETL(数据抽取、转换、装在的过程)对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种ETL工具的使用,必不可少。 市面上常用的ETL工具有很多,比如Soop,DataX,Kettle,Taland等,作为一个大数据工程师,我们最好要掌握其中的两 阅读全文
posted @ 2023-03-23 09:50 创客未来 阅读(73) 评论(0) 推荐(0) 编辑
摘要: 1.DataX Web是什么 DataX web是在DataX的基础上开发的分布式的数据同步工具,方便DataX的用户在网页上通过点击和配置就能完成DataX任务的配置和执行等动作。同时,DataX web是基于xxl-job进行二次开发的DataX任务管理后台,天生支持任务定时调度、日志查看等功能 阅读全文
posted @ 2023-03-15 16:53 创客未来 阅读(1755) 评论(0) 推荐(0) 编辑
摘要: 第三章 使用案例 3.1 从stream流读取数据并打印到控制台 1)查看配置模板 python datax.py -r streamreader -w streamwriter 查看读和写的模板 python datax.py -r streamreader -w streamwriter 3.2 阅读全文
posted @ 2023-03-14 16:41 创客未来 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 第二章 安装&体验 2.1 官方地址 下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 源码地址:https://github.com/alibaba/DataX 2.2前置要求 Linux JDK(1.8以 阅读全文
posted @ 2023-03-14 12:41 创客未来 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 管网地址:https://github.com/alibaba/DataX 第一章 概述 1.1 什么是DataX DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、 阅读全文
posted @ 2023-03-14 10:28 创客未来 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 在bin文件夹下增加配置 mongod.cfg systemLog: destination: file path: c:\data\log\mongod.log storage: dbPath: c:\data\db net: bindIp: 127.0.0.1,0.0.0.0 port: 270 阅读全文
posted @ 2023-03-01 15:05 创客未来 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 1.安装ODBC的驱动 64位 http://download.microsoft.com/download/E/4/2/E4220252-5FAE-4F0A-B1B9-0B48B5FBCCF9/AccessDatabaseEngine_X64.exe 32位 http://download.mic 阅读全文
posted @ 2022-12-11 10:09 创客未来 阅读(694) 评论(0) 推荐(0) 编辑
摘要: 本文地址:https://www.cnblogs.com/muxiaomu/p/16649990.html 阅读全文
posted @ 2022-12-09 08:37 创客未来 阅读(89) 评论(0) 推荐(0) 编辑
摘要: 系统环境:操作系统:Windows server 2016Python 版本:3.7.6DBUtils 版本:2.0 问题描述:pip 有安装 DBUtils 包,但是使用语句:from DBUtils.PooledDB import PooledDB, SharedDBConnection 却一直 阅读全文
posted @ 2022-11-26 09:25 创客未来 阅读(476) 评论(0) 推荐(0) 编辑
摘要: 在安装pymysql时候总是安装失败。因为是安装超时,需要利用国内镜像。 pip install -i https://pypi.doubanio.com/simple/ pymysql 参考文档:https://blog.51cto.com/hld1992/2057321?source=drt 阅读全文
posted @ 2022-11-26 09:23 创客未来 阅读(32) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 50 下一页