2021年3月16日
Name node is in safe mode解决方法
摘要： 1、问题Cannot create directory /directory. Name node is in safe mode. 2、原因在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主 阅读全文
posted @ 2021-03-16 11:21 Vency_L 阅读(540) 评论(0) 推荐(0)
Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
摘要： 1、问题Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,cod 阅读全文
posted @ 2021-03-16 11:16 Vency_L 阅读(3292) 评论(0) 推荐(0)
Error running ‘类名’: Command line is too long. Shorten command line for 类名 or also for Application...
摘要： 1、问题Error running '类名': Command line is too long. Shorten command line for 类名 or also for Application default configuration. 2、原因 IDEA启动项目的时候是使用命令启动的。 阅读全文
posted @ 2021-03-16 11:09 Vency_L 阅读(273) 评论(0) 推荐(0)
2020年11月8日
Hive SQL 影评案例练习
摘要： 一、数据准备 1、users.dat数据格式：2::M::56::16::70072，数据条数：共有6040条数据对应字段：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String字段解释：用户id，性别，年龄， 阅读全文
posted @ 2020-11-08 20:49 Vency_L 阅读(714) 评论(0) 推荐(0)
2020年11月7日
Hive经典案例：求出数学成绩大于语文成绩学生的信息
摘要： 一、数据准备 有如下数据，学生id，课程，分数 1,yuwen,431,shuxue,552,yuwen,772,shuxue,883,yuwen,983,shuxue,65 二、需求分析 1、创建表 create table requirement( sid int, course string, 阅读全文
posted @ 2020-11-07 22:51 Vency_L 阅读(429) 评论(0) 推荐(1)
Hive经典案例：求出每个用户到当月为止的最大当月访问次数和累积到当月的总访问次数
摘要： 一、数据准备 有如下数据：用户名，月份，访问次数 A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16 阅读全文
posted @ 2020-11-07 22:43 Vency_L 阅读(424) 评论(0) 推荐(0)
2020年10月27日
SparkRDD算子案例：统计出每一个省份每个广告被点击数量排行的Top3
摘要： 一、数据准备 agent.log：时间戳，省份，城市，用户，广告，中间字段使用空格分隔。 二、需求分析 方法一： （1）用空格分割每一行的数据，需要的数据是省份id和广告id （2）将省份id和广告id和次数1组成键值对，通过算子map组合成((省份id,广告id),1) （3）计算相同key的总和 阅读全文
posted @ 2020-10-27 18:49 Vency_L 阅读(1044) 评论(0) 推荐(0)