摘要：
一.数据导入 1.1 【load】--向数据中装载数据 load data [local] inpath '数据的路径' [overwrite] into table 表名 [partition('属性'='值'，...)]; --load data:表示加载数据 --local:从本地加载数据到h 阅读全文
摘要：
一.DDL数据定义 1.库的DDL 1.1创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name --指定数据库名称 [COMMENT database_comment] --指定数据库描述 [LOCATION hdfs_path] --指定创建的数据 阅读全文
摘要：
一.基本数据类型 HIVE MySQL JAVA 长度 例子 TINYINT TINYINT byte 1byte有符号整数 2 SMALINT SMALINT short 2byte有符号整数 20 INT INT int 4byte有符号整数 20 BIGINT BIGINT long 8byt 阅读全文
摘要：
介绍 在hive命令行beeline中写一些很长的查询语句不是很方便，急需一个hive的客户端界面工具 DBeaver 是一个通用的数据库管理工具和 SQL 客户端，支持 MySQL, Hive,PostgreSQL, Oracle, DB2, MSSQL, Sybase, Mimer, HSQLD 阅读全文
摘要：
一. Hive基本概念 1.1 Hive是什么 Hive是基于Hadoop的一个数据仓库工具 ，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive本质 : Hive其实就是将用户写的HQL，给翻译成对应的mr模板，然后执行这些mr程序,hive底层执行引擎其实就是MapReduc 阅读全文
摘要：
0.HDFS-HA的工作机制 问题：因为hdfs的中心就是namenode，而我们的集群只有一台服务器安装了nn，如果这台服务器挂掉，整个集群瘫痪，这个就是典型的单点故障，搭建HA其实就是为了解决单点故障问题 解决办法：安装多台nn 此方案有如下问题需要解决？ a）多个nn内部元数据的数据一致性的问 阅读全文
摘要：
目的 通过Notepad++远程登录linux主机，修改配置文件 预期效果 在Notepad++上登录linux主机hadoop102，修改配置文件，保存即可 操作步骤 1.打开插件 查看是否已经安装NppFTP插件 若已安装则跳到第3步；若未安装打开插件管理安装NppFTP 2.安装NppFTP 阅读全文
摘要：
第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1.3 数据结构 1.4应用场景 统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等 第2章 Zookeep安装 2.1 下载地 阅读全文
摘要：
一.分区 问题：按照条件将结果输出到不同文件中 自定义分区步骤 1.自定义继承Partitioner类，重写getPartition()方法 2.在job驱动Driver中设置自定义的Partitioner 3.在Driver中根据分区数设置reducetask数 分区数和reducetask关系 阅读全文
摘要：
Hadoop【MR开发规范、序列化】 一、MapReduce编程规范 用户编写的程序分成三个部分：Mapper、Reducer和Driver 1.Mapper阶段 （1）用户自定义Mapper要继承Mapper父类 （2）Mapper的输入时K-V对的形式（K-V可自定义） （3）Mapper的业务 阅读全文