上一页 1 ··· 4 5 6 7 8 9 10 11 12 下一页
摘要: 读取MongoDB的数据导入到HDFS 1)编写配置文件 [jason@hadoop102 datax]$ vim job/mongdb2hdfs.json { "job": { "content": [ { "reader": { "name": "mongodbreader", "paramet 阅读全文
posted @ 2020-09-14 15:12 架构艺术 阅读(2368) 评论(0) 推荐(0) 编辑
摘要: 读取Oracle的数据存入HDFS中 1)编写配置文件 [oracle@hadoop102 datax]$ vim job/oracle2hdfs.json { "job": { "content": [ { "reader": { "name": "oraclereader", "paramete 阅读全文
posted @ 2020-09-14 15:10 架构艺术 阅读(813) 评论(0) 推荐(0) 编辑
摘要: 从Oracle中读取数据存到MySQL 1)MySQL中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table stud 阅读全文
posted @ 2020-09-14 15:07 架构艺术 阅读(615) 评论(0) 推荐(0) 编辑
摘要: Oracle数据库 以下操作使用root账号。 4.1 oracle数据库简介 Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理 阅读全文
posted @ 2020-09-14 15:02 架构艺术 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 从stream流读取数据并打印到控制台 1)查看配置模板 [jason@hadoop102 bin]$ python datax.py -r streamreader -w streamwriter DataX (DATAX-OPENSOURCE-3.0), From Alibaba ! Copyr 阅读全文
posted @ 2020-09-14 10:29 架构艺术 阅读(2078) 评论(0) 推荐(0) 编辑
摘要: 第1章 概述 1.1 什么是DataX ​ DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 1.2 DataX的设计 为了解决异构数据源同步 阅读全文
posted @ 2020-09-09 18:21 架构艺术 阅读(175) 评论(0) 推荐(0) 编辑
摘要: MongoDB 5.1 什么是MongoDB MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类 阅读全文
posted @ 2020-09-09 18:10 架构艺术 阅读(118) 评论(0) 推荐(0) 编辑
摘要: Flume最重要的组件是Source、Channel和Sink,另外,Flume Agent还有一些使Flume更加灵活的组件,如拦截器,Channel选择器,Sink组和Sink选择器。本文将讨论一下拦截器的应用。 拦截器 拦截器(Interceptor)是简单的插入式组件,设置在Source和S 阅读全文
posted @ 2020-09-09 10:34 架构艺术 阅读(353) 评论(0) 推荐(0) 编辑
摘要: 常见正则表达式语法 元字符 描述 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“\n”或“\r”之后的位置。 $ 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“\n”或“\r”之前的位置。 * 匹配前面的子表达式 阅读全文
posted @ 2020-09-08 19:57 架构艺术 阅读(655) 评论(0) 推荐(0) 编辑
摘要: 自定义MySQLSource 1 自定义Source说明 Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generat 阅读全文
posted @ 2020-09-08 19:54 架构艺术 阅读(325) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 10 11 12 下一页