上一页 1 2 3 4 5 6 ··· 18 下一页
摘要: 1. 数据导入 1.1 向表中 load 数据 load 可以从本地服务器、hdfs 文件系统加载数据到数据表中: load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [par 阅读全文
posted @ 2021-12-05 20:32 Hubery_Jun 阅读(49) 评论(0) 推荐(0) 编辑
摘要: DDL 操作是用于操作对象和对象的属性,这种对象包括数据库本身,以及数据库对象,像:表、视图等等 1. 数据库 1.1 创建数据库 数据库在 HDFS 上的默认存储路径是 /user/hive/warehouse/*.db CREATE (DATABASE|SCHEMA) [IF NOT EXIST 阅读全文
posted @ 2021-12-05 20:31 Hubery_Jun 阅读(76) 评论(0) 推荐(0) 编辑
摘要: 1. 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN boole 阅读全文
posted @ 2021-12-05 20:30 Hubery_Jun 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 1. 连接 有三种方式连接 hive: cli:直接输入 bin/hive 就可以进入 cli hiveserver2、beeline webui 1.1 hiveserver2/beeline 1、开启 hiveserver2 服务 // 前台运行,当 beeline 输入命令时,服务端会返回 O 阅读全文
posted @ 2021-12-05 20:29 Hubery_Jun 阅读(899) 评论(0) 推荐(0) 编辑
摘要: 1、下载 这里选择的版本是 0.9.2,下载地址 [hadoop@hadoop1 big_source]$ tar -zxvf apache-tez-0.9.2-bin.tar.gz [hadoop@hadoop1 big_source]$ mv apache-tez-0.9.2-bin tez-0 阅读全文
posted @ 2021-12-05 20:27 Hubery_Jun 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 1. hive 安装 hive 下载地址 1、下载解压: // 这里选择的是 1.2.1 的版本 [hadoop@hadoop1 apps]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz // 修改名称为 hive [hadoop@hadoop1 apps]$ mv 阅读全文
posted @ 2021-12-05 20:25 Hubery_Jun 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 1. spark 读取 ES import org.apache.spark.sql.SparkSession import org.elasticsearch.spark.rdd.EsSpark object esReadToHdfs { def main(args: Array[String]) 阅读全文
posted @ 2021-11-17 21:55 Hubery_Jun 阅读(733) 评论(0) 推荐(0) 编辑
摘要: 1. RDD 的创建 创建 RDD 有三种方式: 从集合中创建 从外部存储创建 从其他 RDD 转换得到新的 RDD 1.1 从集合中创建 1、使用 parallelize 函数: import org.apache.spark.sql.SparkSession object CreateRdd { 阅读全文
posted @ 2021-10-10 22:40 Hubery_Jun 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 一、xcall.sh 作用:集群之间批量执行命令(前提:支持 ssh 免密登陆) 使用:sh xcall.sh jps #!/bin/bash params=$@ i=307 for (( i=137 ; i <=139 ; i = $i + 1 )) ; do echo hadoop@192.16 阅读全文
posted @ 2021-10-10 21:15 Hubery_Jun 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 1. scala 安装 1、准备工作 scala:scala-2.13.6.tar.gz 2、安装 // 将 scala-2.13.6.tar.gz 拷贝到 /home/hadoop/apps 解压 cd /home/hadoop/apps tar -zxvf scala-2.13.6.tar.gz 阅读全文
posted @ 2021-10-10 21:07 Hubery_Jun 阅读(502) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 18 下一页