摘要:
1. Tomcat 引入 1.1 功能需求 浏览器发给服务端的是一个 HTTP 格式的请求,HTTP 服务器收到这个请求后,需要调用服务端程序来处理,所谓的服务端程序就是你写的 Java 类,一般来说不同的请求需要由不同的 Java 类来处理。 那么问题来了,HTTP 服务器怎么知道要调用哪个 Ja 阅读全文
摘要:
# 1. DataX 概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(Mysql、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 DataX 侧重于同步数据库中的数据。DataX 没有所谓版 阅读全文
摘要:
官网地址:http://maxwells-daemon.io/ Maxwell 是由美国 Zendesk 公司开源,使用 Java 编写的 MySQL 变更数据抓取软件。它会实时监控 Mysql 数据库的数据变更操作(包括 insert、update、delete),并将变更数据以 JSON 的格式 阅读全文
摘要:
# 1. 概述&入门 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构,灵活简单。其最主要的作用就是实时读取服务器本地磁盘的数据,将数据写入到 HDFS。 来加载文本数据,例如逗号、制表符、空格等等,默认的分隔符为”\001”。根据不同文件的不同分隔符,我们可以通过在创建表时使用 ROW FORMAT DEL 阅读全文
摘要:
1. Hive 内置运算符 整体上,Hive 支持的运算符可以分为三大类:关系运算、算术运算、逻辑运算。 官方参考文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式: - 阅读全文
摘要:
1. LOAD 回想一下,当在 Hive 中创建好表之后,默认就会在 HDFS 上创建一个与之对应的文件夹,默认路径是由参数 hive.metastore.warehouse.dir 控制,默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产生映射,就需要 阅读全文
摘要:
数据定义语言(Data Definition Language,DDL)是 SQL 语言集中对数据库内部的对象结构进行创建、删除、修改等的操作语言,这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 阅读全文
