彬在俊

摘要：需求：《疑犯》悬疑,动作,科幻,爱情《lie to me》悬疑,警匪,动作,心理,剧情《战狼》战争,动作,灾难转成如下格式：《疑犯》悬疑《疑犯》动作《疑犯》科幻《疑犯》爱情《lie to me》 ... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(110) 评论(0) 推荐(0)

摘要： java编译器把Unreachable　statement标记为运行时错误，一个Unreachable　statement就是编译器决定永远不会执行它。下面的几种情况会出现 Unreachable statement：(0)在while(true)循... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(131) 评论(0) 推荐(0)

摘要：安装 jdk (百度)安装 maven 1、wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.t... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(61) 评论(0) 推荐(0)

摘要： 1下载 wget http://nodejs.org/dist/v0.10.33/node-v0.10.33-linux-x64.tar.gz 2解压 [root@bigData-02 ~]# tar –zxvf node-v0.10.33... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(81) 评论(0) 推荐(0)

摘要： Hadoop-daemon.sh:用于启动当前节点的进程例如Hadoop-daemon.sh start namenode 用于启动当前的名称节点Hadoop-daemons.sh：用于启动所有节... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(69) 评论(0) 推荐(0)

摘要：存现这种错误是因为编写的 shell脚本是在win下编写的，每行结尾是\r\n 的Unix 结果行是\n 所以在Linux下运行脚本会任务\r 是一个字符，所以运行错误，需要把文件转换下方法一、 sed -i 's/\r//' 脚本名方法... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(0) 评论(0) 推荐(0)

摘要：问题原因：之前hive里有数据，后面MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。需要进行修复。解决方法：可以使用msck repair table xxxxx命... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(432) 评论(0) 推荐(0)

摘要： GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 grouping sets根据不同的维度组合进行聚合，等... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(540) 评论(0) 推荐(0)

摘要：首先利用python造一些假数据，来进行hive的学习：代码如下： # coding: utf-8import randomimport datetimeimport sysreload(sys)sys.setdefaultencoding('... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(71) 评论(0) 推荐(0)

摘要：前言：每一个表或者分区，hive都可以进一步组织成桶，桶是更细粒度的数据划分，他本质不会改变表或分区的目录组织方式，他会改变数据在文件中的分布方式。分桶规则：对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相... 阅读全文

posted @ 2022-11-10 19:27 彬在俊阅读(206) 评论(0) 推荐(0)