sqarkSQL hiveSql
查看数据库
show databases;
进入数据库
use 库名
查看表
show tables；
select * from 表名
hdfs传输spark sql查询
hive找到指定路径sql查询
vim gouzheng.txt 文件名字
放入数据
1 赵强 22 m 山西阳泉
2 李鹏波 21 m 河北邯郸
3 薛晋 26 m 山西运城
4 孙帅 21 m 河北张家口
5 杨老师 32 m 辽宁开原
6 李宇辉 24 m 河北张家口
7 钱万丰 24 m 山东梁山
8 王小佳 26 m 辽宁鞍山
9 李爽 18 f 辽宁鞍山
10 孙铭浩 18 m 辽宁鞍山
11 王坤华 20 m 河北邢台
12 王传芝 26 m 四川南充
13 梁红 18 f 甘肃张掖
14 牛睿 27 m 山西运城
15 马铭见 27 m 河北唐山
16 赵俊杰 21 m 内蒙包头
17 梁越 19 m 山西运城
18 秦凤 18 f 内蒙古呼和浩特
19 孙晓云 18 f 新疆乌鲁木齐
20 何明 24 m 黑龙江齐齐哈尔
21 张旭 16 m 黑龙江大庆
22 张江涛 21 m 山西运城
23 杨惠 18 m 山西运城
24 黄则铭 25 m 山西运城
25 宋旭 21 m 黑龙江绥化
26 肖鹏程 18 m 河北张家口
27 唐凤龙 23 m 黑龙江哈尔滨
28 许月月 18 f 山西运城
29 徐果 22 m 安徽六安
#将文件上传到Hdfs
hdfs dfs -put gouzheng.txt /
#查看
hdfs dfs -cat /gouzheng.txt
#打开spark-shell
val lineRDD = sc.textFile("hdfs://hadoop:9000/gouzheng.txt").map(_.split(" "))
case class Person(id:Int, name:String, age:Int, Sex:String, s_local:String)
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt, x(3), x(4)))
val personDF = personRDD.toDF
personDF.show
如果出现权限问题的话
hdfs dfs -chmod 777 /
______________________________________________________________________
#进入hive
create 数据库
use 数据库
creat 表格
create table test(
id int,
name string,
age int,
gender char(1),
s_local string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '
STORED AS TEXTFILE;
use 表格
#指定路径
load data local inpath '/root/gouzheng.txt' into table test;
#查询即可
——————————————————————————
HIVE的连接模式== 本地连接模式 直接启动hive命令
HIVE的远程连接 这里要启动HIVE的服务 thirft进行编写
hiveserver2 —- > 前台启动 后台启动
前台启动 hiveserver2
后台启动 hiveserver2 &
#进入beeline
- !connect jdbc:hive2://10.0.0.11:10000
- #或者
- beeline -u jdbc:hive2://10.0.0.11:10000 -n root
