05-配置数据库的远程连接 创建hive数据库的时候要选择latin1
1.解压hive的tar包
2.配置环境变量 source /etc/profile
3. cp /root/Downloads/apache-hive-1.2.0-bin/lib
/root/Downloads/hadoop-2.6.5/share/hadoop/yarn/lib
3 hive
4.可以 show databases; show tables; create database 数据库名;
create table 表名;
(tinyint smallint int bigint string float double array struct map timestamp)
desc 表名;show create table 表名;
5 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 切分的类 在使用这个hdfs中文件的
时候进行切分 一定是在查询数据的时候切分 所以是懒加载
org.apache.hadoop.mapred.TextInputFormat 在取hdfs数据的时候,我们其实是将mr提交完毕
以后用mapper进行数据读取 读取的时候用到
org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
在mr任务执行的时候,读取完毕的数据要输入到一个文件中,输出的时候只要value,不要key
hdfs://linux01:9000/user/hive/warehouse/student
指向一个hdfs文件夹目录 目录中的所有数据都是这个表的数据
***默认情况下在我们没有设置这个数据库连接时,那么存储的位置就在当前的目录
默认用的derby数据库
***如果换了一个启动目录,对应的数据就不存在了
6 rpm -qa | grep mysql
rpm -e --nodeps mysql
7 安装 rpm -ivh MySQL-server-5.5.47-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-client-5.5.47-1.linux2.6.x86_64.rpm
8 service mysql start
mysql_secure_installation
9 service mysql restart
10 mysql -uroot -p123456(ps aux |grep mysq* kill pid)
11 scp 客户端 安装
12 grant all privileges on *.* to root@"%" identified by "123456";
flush privileges;
13 service mysql restart
14 mysql -uroot -p123456 -h linux02
15 create user wzw;
16 set password for wzw=password("123456")
17 update user set Grant_priv="Y" where user="root"
18 grant select on 1807A.student to wzw;
1. /$HIVE_HOME/conf
将hive-default.xml.template 重命名 hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://linux02:3306/hive?characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
2 将mysql的驱动jar包添加到hive的lib目录下
3.配置数据库的远程连接,创建hive数据库的时候 swedish
create database hive character set "latin1";
4 hive
在hive中的所有的数据都存在hdfs中,一个表对应的一个文件夹
/user/hive/warehouse是hive存放文件的基础目录,默认不变
直接指向这个目录,这个是根目录
创建的数据库会在这个目录中存在一个xxx.db的文件夹
create table student2() loaction "hdfs://linux01:9000/student2"
5 在mapreduced-site.xml local
4.5Hive配置文件 进入配置文件目录: # >cd /home/bigdata/hive/conf 将hive-default.xml.template文件拷贝并重命名成hive-site.xml: # >mv hive-default.xml.template hive-site.xml 清空文件中<configuration></configuration>之间的内容并加入下列内容: <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://slave1.com:3306/hive?characterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> 将mysql的驱动jar包添加到hive的lib目录下