摘要: 1.简单命令 对表的操作: create--创建表 list--查看table表的名称,类似show tables; descript--查看表的主体结构 scan--查看表的实体内容 disable/enable--表的可用性 drop--删除表(需要先可用性为disable) 对内容的操作: p 阅读全文
posted @ 2018-08-20 16:32 潜水闲鱼 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 统计薪酬最高的和薪酬分布情况,下面包括表的创建和sql语句: 添加相应数据后得到表employee为: 查询最高薪酬: 得到结果为: 查看薪酬分组和百分比情况: 结果如图: 阅读全文
posted @ 2018-08-14 22:55 潜水闲鱼 阅读(1107) 评论(0) 推荐(0) 编辑
摘要: hive的安装和MySQL的安装以及关联,这里不再赘述,本章主要讲一下hive2的使用以及一些需要注意的问题。 一.因为现在hive已经不能满足人们更高的需求了,所以hive2成为了主流的应用查询和计算工具。hive将MapReduce的源代码进行封装, 通过写sql语句将其以MapReduce的方 阅读全文
posted @ 2018-08-10 16:43 潜水闲鱼 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 当你在启动HDFS和MapReduce的时候,大家都可能习惯了, 只要在其中一台关联的虚拟机上启动,或者是在含有namenode的机器上进行启动。 启动的方法可以分别启动dfs和yarn,如start-dfs.sh,start-yarn.sh;也可以一起启动,start-all.sh。 然后会jps 阅读全文
posted @ 2018-08-10 15:43 潜水闲鱼 阅读(534) 评论(0) 推荐(0) 编辑
摘要: 1.hive安装,配置文件无需复制default文件,只需要touch一个hive-site.xml文件即可,配置无外乎最基本的四项。即四项connection。 2.启动hive 之前,首先确定防火墙均已经关闭,其次,要将Hadoop启动。 3.随后可以启动hive。 beeline: 1、当启动 阅读全文
posted @ 2018-08-03 23:31 潜水闲鱼 阅读(780) 评论(0) 推荐(0) 编辑
摘要: 1.环境变量的配置 /etc/profile 如果出现了命令不能被识别,很可能是路径错误: export HIVE_HOME = 你hive解压后安装的绝对路径export PATH=$PATH:$HIVE_HOME/bin path如果不是上面的样子,也可以是.:$HIVE_HOME/bin:$P 阅读全文
posted @ 2018-07-30 17:41 潜水闲鱼 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 对于安装步骤,网上一大堆,我就不再赘述,大家可以度娘一起,今天只说说安装过程的一些坑: 1.当对系统用户授权后,会生成日志文件,里面含有初次登录MySQL的初始密码,文件位置为/var/log/mysqld.log。 如果你查不到密码怎么办,进不去了吗? 你可以强行进入: 1.关闭mysql # s 阅读全文
posted @ 2018-07-30 17:22 潜水闲鱼 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 在上一篇关于单词的统计博文中,已经阐述了详细的导包和执行步骤, 可以查看参考,本文主要显示对用户流量统计的代码实现过程,并对其进行了分组。 代码: 底层的FlowWriteable: 分组partion类: mapper类: reduce类: 任务提交类: 接下来就是生产jar包,将其导入虚拟机,执 阅读全文
posted @ 2018-07-25 16:20 潜水闲鱼 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 一、需要的jar包 Hadoop-2.4.1\share\hadoop\hdfs\hadoop-hdfs-2.4.1.jar hadoop-2.4.1\share\hadoop\hdfs\lib\所有jar包 hadoop-2.4.1\share\hadoop\common\hadoop-commo 阅读全文
posted @ 2018-07-25 16:11 潜水闲鱼 阅读(802) 评论(0) 推荐(0) 编辑
摘要: 本次主要是简单的对Hadoop中HDFS中文件的操作,可自行先添加文件,或者直接上传文件操作实验。 去不代码如下: 阅读全文
posted @ 2018-07-16 18:07 潜水闲鱼 阅读(595) 评论(0) 推荐(0) 编辑