摘要: SQOOP安装及使用 SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/ 2、修改文件夹名字 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7 阅读全文
posted @ 2021-10-19 20:04 lmandcc 阅读(312) 评论(0) 推荐(0) 编辑
摘要: Phoenix Hbase适合存储大量的对关系运算要求低的NOSQL数据,受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀,一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式,Apache Phoenix即是。 Pho 阅读全文
posted @ 2021-10-14 19:09 lmandcc 阅读(444) 评论(0) 推荐(0) 编辑
摘要: Hbase API 类和数据模型的对应关系 HBaseAdmin 类:org.apache.hadoop.hbase.client.HBaseAdmin 作用:提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括:创建表,删 除表,列出表项,使表有效或无效,以及添加或删除表列族成员等。 阅读全文
posted @ 2021-10-12 22:46 lmandcc 阅读(127) 评论(0) 推荐(0) 编辑
摘要: Hbase Shell 1.创建表 语法:create <table>, {NAME => <family>, VERSIONS => <VERSIONS>} 创建一个‘table’表,info是它的列簇 2.查看表list 3.查看表详情desc 4.修改表alter 添加指定列簇 alter ' 阅读全文
posted @ 2021-10-11 21:46 lmandcc 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 1.启动Hadoop start-all.sh 验证http://master:50070 2、启动zookeeper 需要在在三台中分别启动 zkServer.sh start zkServer.sh status 搭建Hbase1、上传解压配置环境变量 tar -xvf hbase-1.4.6- 阅读全文
posted @ 2021-10-11 20:42 lmandcc 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 1、使用JDBC连接Hive 1 import java.sql.Connection; 2 import java.sql.DriverManager; 3 import java.sql.PreparedStatement; 4 import java.sql.ResultSet; 5 6 pu 阅读全文
posted @ 2021-09-29 21:40 lmandcc 阅读(469) 评论(0) 推荐(1) 编辑
摘要: 1、Hive完整建表 1 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name( 2 [(col_name data_type [COMMENT col_comment], ...)] 3 ) 4 [COMMENT table_comment] 5 [ 阅读全文
posted @ 2021-09-27 21:44 lmandcc 阅读(415) 评论(0) 推荐(0) 编辑
摘要: 一、hive的安装 注意:安装hive的前提要安装好MySQL和Hadoop Hadoop安装:https://www.cnblogs.com/lmandcc/p/15306163.html MySQL的安装:https://www.cnblogs.com/lmandcc/p/15224657.ht 阅读全文
posted @ 2021-09-26 14:53 lmandcc 阅读(297) 评论(0) 推荐(1) 编辑
摘要: 1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz -C/usr/local/soft 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 ex 阅读全文
posted @ 2021-09-23 20:47 lmandcc 阅读(48) 评论(0) 推荐(0) 编辑
摘要: 1.Mapreduce操作不需要reduce阶段 1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.fs.FileSystem; 3 import org.apache.hadoop.fs.Path; 阅读全文
posted @ 2021-09-23 20:25 lmandcc 阅读(135) 评论(0) 推荐(0) 编辑