2021年10月22日

10.22

摘要：导入数据在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE， HBASE）中传输数据，叫做：导入，即使用 import 关键字。 RDBMS 到 HDFS 1) 确定 Mysql 服务开启正常 2) 在 Mysql 中新建一张表并插入一些数据 $ my 阅读全文

posted @ 2021-10-22 21:56 樱岛麻衣daisuki 阅读(81) 评论(0) 推荐(0) 编辑

2021年10月21日

10.21

摘要： Sqoop 安装安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。下载并解压 1) 下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2) 上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alph 阅读全文

posted @ 2021-10-21 21:25 樱岛麻衣daisuki 阅读(70) 评论(0) 推荐(0) 编辑

2021年10月20日

10.20

摘要： DML 数据操作数据导入向表中装载数据（Load） 1）语法 hive> load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)]; 1）load data:表阅读全文

posted @ 2021-10-20 23:21 樱岛麻衣daisuki 阅读(47) 评论(0) 推荐(0) 编辑

2021年10月16日

10.16

摘要： DDL 数据定义创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=propert 阅读全文

posted @ 2021-10-16 22:21 樱岛麻衣daisuki 阅读(74) 评论(0) 推荐(0) 编辑

2021年10月15日

10.15

摘要： 1 Hive 运行日志信息配置 1）Hive 的 log 默认存放在/tmp/atguigu/hive.log 目录下（当前用户名下） 2）修改 hive 的 log 存放日志到/opt/module/hive/logs （ 1）修改/opt/module/hive/conf/hive-log4j2 阅读全文

posted @ 2021-10-15 22:31 樱岛麻衣daisuki 阅读(80) 评论(0) 推荐(0) 编辑

2021年10月14日

10.14

摘要： Hive 常用交互命令 [atguigu@hadoop102 hive]$ bin/hive -help usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B o 阅读全文

posted @ 2021-10-14 22:58 樱岛麻衣daisuki 阅读(68) 评论(0) 推荐(0) 编辑

2021年10月13日

10.13

摘要：使用 JDBC 方式访问 Hive 1）在 hive-site.xml 文件中添加如下配置信息  <property> <name>hive.server2.thrift.bind.host</name> <value>hadoop10 阅读全文

posted @ 2021-10-13 23:25 樱岛麻衣daisuki 阅读(45) 评论(0) 推荐(0) 编辑

2021年10月7日

10.7

摘要：使用元数据服务的方式访问 Hive 1）在 hive-site.xml 文件中添加如下配置信息  <property> <name>hive.metastore.uris</name> <value>thrift://hadoop102:9083</val 阅读全文

posted @ 2021-10-07 22:23 樱岛麻衣daisuki 阅读(70) 评论(0) 推荐(0) 编辑

2021年10月6日

10.6

摘要：拷贝驱动将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下 [atguigu@hadoop102 software]$ cp /opt/software/mysql-connector-java- 5.1.37.jar $HIVE_HOME/lib 配置 Metastore 到阅读全文

posted @ 2021-10-06 23:20 樱岛麻衣daisuki 阅读(97) 评论(0) 推荐(0) 编辑

2021年10月5日

10.5

摘要： MySQL 安装 1）检查当前系统是否安装过 MySQL [atguigu@hadoop102 ~]$ rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载 [atguigu @hadoop102 ~]$ sudo 阅读全文

posted @ 2021-10-05 23:23 樱岛麻衣daisuki 阅读(211) 评论(0) 推荐(0) 编辑