摘要:
1. Zeppelin下载及安装 1.1 安装环境 Cent os 7.5 Hadoop 3.2 Hive-3.1.2 Scala Spark-3.0.0-bin-hadoop3.2 Flink 1.13.2 Zeppelin 0.9.0 1.2 Zeppelin下载 Zeppelin 安装包下载地 阅读全文
摘要:
1. 环境搭建 1.1 资源规划 本次搭建一主两从分布式Kettle环境。资源规划情况如下表 ip角色 192.168.21.107 Master 192.168.21.108 Slave1 192.168.21.109 Slave2 1.2 软件环境 JDK 1.8 Cent os 7 PDI 8 阅读全文
摘要:
用法 {EXPLAIN | DESCRIBE | DESC} tbl_name [col_name | wild] {EXPLAIN | DESCRIBE | DESC} [explain_type] {explainable_stmt | FOR CONNECTION connection_id} 阅读全文
摘要:
今日箴言 逃避的事情都会回来找你 。 1. MySQL 安装 1.1MySQL 8.0.18安装 本次安装的是MySQL 8.0.18版本。 下载地址:https://downloads.mysql.com/archives/installer/ 一路下一步下一步就可完成安装.<赞 Winddows 阅读全文
摘要:
1.1 特点 内存数据库,速度快,也支持数据持久化 Redis不仅仅支持简单的key-value类型的数据,同时还提供List、Hash、Set、Sorted Set等多种数据类型 Redis支持数据的备份(master-slave)与集群(分片存储),以及拥有哨兵模式 支持事务 1.2 优势 性能 阅读全文
摘要:
环境准备 producer端maven依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> application.proper 阅读全文
摘要:
zookeeper的安装 参考Zookeeper集群环境搭建 下载安装包 下载地址: http://archive.apache.org/dist/hbase/ (慢) http://mirrors.hust.edu.cn/apache/hbase/ (快) 上传到服务器并解压 修改配置文件 配置文 阅读全文
摘要:
概述 sqoop是apache旗下hadoop和关系型数据库之间传送数据的工具. 核心功能有两个: 导入、迁入 导出、迁出 导入数据:MySQL、Oracle、Sql Server(sqoop2系列支持)导入数据到HDFS、HIVE、HBASE等数据存储系统 导出数据:从Hadoop的文件系统中导出 阅读全文
摘要:
解压sqoop 下载sqoop安装包 下载地址: 解压到指定目录 修改文件夹名 配置sqoop 修改sqoop.properties (1).修改@LOGDIR@和@BASEDIR@的日志路径 (2).修改mapreduce.configuration.directory的目录 (3).配置环境变量 阅读全文
摘要:
客户端cli的命令 启动命令1 ./hive ./hive 启动命令2 beeline方式 beeline beeline 启动beline 创建table t1(id int,name String)后插入数据报错 启动时指定用户root JDBC方式连接 JDBC连接也需要连接到hiveServ 阅读全文