摘要:
1.简单命令 对表的操作: create--创建表 list--查看table表的名称,类似show tables; descript--查看表的主体结构 scan--查看表的实体内容 disable/enable--表的可用性 drop--删除表(需要先可用性为disable) 对内容的操作: p 阅读全文
摘要:
统计薪酬最高的和薪酬分布情况,下面包括表的创建和sql语句: 添加相应数据后得到表employee为: 查询最高薪酬: 得到结果为: 查看薪酬分组和百分比情况: 结果如图: 阅读全文
摘要:
hive的安装和MySQL的安装以及关联,这里不再赘述,本章主要讲一下hive2的使用以及一些需要注意的问题。 一.因为现在hive已经不能满足人们更高的需求了,所以hive2成为了主流的应用查询和计算工具。hive将MapReduce的源代码进行封装, 通过写sql语句将其以MapReduce的方 阅读全文
摘要:
当你在启动HDFS和MapReduce的时候,大家都可能习惯了, 只要在其中一台关联的虚拟机上启动,或者是在含有namenode的机器上进行启动。 启动的方法可以分别启动dfs和yarn,如start-dfs.sh,start-yarn.sh;也可以一起启动,start-all.sh。 然后会jps 阅读全文
摘要:
1.hive安装,配置文件无需复制default文件,只需要touch一个hive-site.xml文件即可,配置无外乎最基本的四项。即四项connection。 2.启动hive 之前,首先确定防火墙均已经关闭,其次,要将Hadoop启动。 3.随后可以启动hive。 beeline: 1、当启动 阅读全文
摘要:
1.环境变量的配置 /etc/profile 如果出现了命令不能被识别,很可能是路径错误: export HIVE_HOME = 你hive解压后安装的绝对路径export PATH=$PATH:$HIVE_HOME/bin path如果不是上面的样子,也可以是.:$HIVE_HOME/bin:$P 阅读全文
摘要:
对于安装步骤,网上一大堆,我就不再赘述,大家可以度娘一起,今天只说说安装过程的一些坑: 1.当对系统用户授权后,会生成日志文件,里面含有初次登录MySQL的初始密码,文件位置为/var/log/mysqld.log。 如果你查不到密码怎么办,进不去了吗? 你可以强行进入: 1.关闭mysql # s 阅读全文
摘要:
在上一篇关于单词的统计博文中,已经阐述了详细的导包和执行步骤, 可以查看参考,本文主要显示对用户流量统计的代码实现过程,并对其进行了分组。 代码: 底层的FlowWriteable: 分组partion类: mapper类: reduce类: 任务提交类: 接下来就是生产jar包,将其导入虚拟机,执 阅读全文
摘要:
一、需要的jar包 Hadoop-2.4.1\share\hadoop\hdfs\hadoop-hdfs-2.4.1.jar hadoop-2.4.1\share\hadoop\hdfs\lib\所有jar包 hadoop-2.4.1\share\hadoop\common\hadoop-commo 阅读全文
摘要:
本次主要是简单的对Hadoop中HDFS中文件的操作,可自行先添加文件,或者直接上传文件操作实验。 去不代码如下: 阅读全文