7月20号day12总结

今天学习过程和小结

先进行了复习，主要

1，hive导入数据的方式有

  本地导入  load data [local] inpath 'hdfs-dir' into table tablename;

    sqoop

2，hive数据类型有  hive.apache.org

      简单类型  

         数字类型：int double  bigint smallint ...

         字符串类型  string  char(20) varchar(20)

          日期类型  date timestamp

      复杂类型-->数组、集合、结构体

3，使用Hive创建表emp   

    create table emp(fieldname type) 行分割符

4，将本地数据导入到hive的emp表中

  load data [local] inpath 'hdfs-dir' into table tablename;

5，检测sqoop是否与mysql连接成功

   sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --password 123456

6，描述hive的体系架构

   （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。

    （2）Hive将元数据存储在数据库中，如mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

    （3）解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。

    （4）Hive的数据存储在HDFS中，大部分的查询、计算由MapReduce完成（包含*的查询，比如select * from tbl不会生成MapRedcue任务）。

7，java中如何从文件emp.txt读取数据，使用BufferedReader,代码实现

   readLine()

                                      BufferedInputStream

      流： 字符流、字节流

           输入流 、输出流

           节点流、 转换流

 

   BufferedReader breader=new BufferedReader(new InputStreamReader(new FileInputStream("filename")));

   breader.readLine();

 

 FileInputStream

  File

 

8，sqoop导入mysql数据到hdfs代码

    

   import -->导入  

   export-->导出

   --connect jdbc:mysql://ip:3306/dbname

   --username root

   --password root

  [ --columns 'ename,empno...']

   --table tablename

   --target-dir 'hdfs目录'

 

练习了sqoopd的命令。

下午学了用hive连接JDBC进行数据库的操作。

package com.neuedu.utils;

import java.sql.*;

public class HiveJDBCUtils {

    public static String driver="org.apache.hive.jdbc.HiveDriver";
    private static String url="jdbc:hive2://192.168.122.141:10000/default";

    static{
        try{
            Class.forName(driver);
        }catch(ClassNotFoundException e){
            e.printStackTrace();
        }
    }

    public static Connection getConnection() throws SQLException{
        return DriverManager.getConnection(url,"root","123456");
    }

    public static void close(Connection connection,Statement statement) throws SQLException{
        if (connection!=null){
            connection.close();
        }
        if (statement!=null){
            statement.close();
        }
    }

    public static void close(Connection connection, Statement statement, ResultSet resultSet) throws SQLException{
        if (connection!=null){
            connection.close();
        }
        if (statement!=null){
            statement.close();
        }
        if (resultSet!=null){
            resultSet.close();
        }
    }
}

 

搭建了springboot集成hive

 

遇到问题汇总

 

1. 多加练习SQL语句和sqoop语句

2.Hive连接JDBC还不是熟悉。Springboot的搭建也要多多练习。

学习技能思维导图