01 2022 档案

摘要：Math.floor(Math.random()*(100-1+1)+1)；阅读全文

posted @ 2022-01-14 10:08 CHANG_09 阅读(179) 评论(0) 推荐(0) 编辑

摘要：1 //1.1 启动hive服务 2 3 bin/hiveserver2 4 5 //1.2 创建hive数据表 6 7 create database test8; 8 use test8; 9 create table test8( 10 cname string, 11 cdate strin 阅读全文

posted @ 2022-01-14 09:33 CHANG_09 阅读(68) 评论(0) 推荐(0) 编辑

Hive hql 练习

摘要：数据：Student(Sid,Sname,Sage,Ssex)学生表Sid：学号 Sname：学生姓名 Sbirth：学生生日 Ssex：学生性别01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风 1990-05-20 男04 李云 1990-08-06 男05 周梅阅读全文

posted @ 2022-01-13 22:13 CHANG_09 阅读(78) 评论(0) 推荐(0) 编辑

HDFS block丢失过多进入安全模式（Safe mode）的解决方法

摘要：HDFS block丢失过多进入安全模式（Safe mode）的解决方法背景及现象描述(Background and Symptom) 因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失，出现如下类似日志： The number of live datanod 阅读全文

posted @ 2022-01-12 19:34 CHANG_09 阅读(822) 评论(0) 推荐(0) 编辑

hadoop关闭安全模式

摘要：Cannot create directory /tmp/hive/root/... Name node is in safe mode. 关闭安全模式: hadoop dfsadmin -safemode leave 阅读全文

posted @ 2022-01-12 18:18 CHANG_09 阅读(351) 评论(0) 推荐(0) 编辑

【Hive】动态分区插入

摘要：使用动态分区插入数据时，无需指定分区键值，系统根据插入的数据，自动分配分区。动态分区需注意以下几点: 需有一个同构的普通表做为源表；分区键值和源表字段之间是根据位置来判断的，而不是根据命名来匹配的，分区键值一般对应SELECT后的最后一个字段；动态分区默认是关闭的，使用前要设置相关参数；下面是一个动阅读全文

posted @ 2022-01-11 10:36 CHANG_09 阅读(997) 评论(0) 推荐(0) 编辑

Hive自定义UDF的JAR包加入运行环境的方法

摘要：Hive开发udf函数打包jar文件后，需将jar文件放入hive的运行环境，方法有三。 hive(default) > add jar /opt/module/hive/lib/udf-1.0-SNAPSHOT.jar; 1、进入hive，添加jar， add jar /opt/module/hi 阅读全文

posted @ 2022-01-11 09:16 CHANG_09 阅读(1718) 评论(0) 推荐(0) 编辑

Linux的一些环境变量（技术）

摘要：vim /etc/profile vim /etc/profile.d/my_env.sh 阅读全文

posted @ 2022-01-10 16:32 CHANG_09 阅读(19) 评论(0) 推荐(0) 编辑

hive建表的数据结构

摘要：阅读全文

posted @ 2022-01-10 16:31 CHANG_09 阅读(28) 评论(0) 推荐(0) 编辑

hadoop集群启动脚本

摘要：1 #!/bin/bash 2 case $1 in 3 "start") 4 echo "————————————启动 hadoop 集群————————" 5 ssh hadoop106 "/opt/module/hadoop/sbin/start-dfs.sh" 6 ssh hadoop107 阅读全文

posted @ 2022-01-10 15:23 CHANG_09 阅读(208) 评论(0) 推荐(0) 编辑

hive配置

摘要：./hive --service metastore 初始化将元数据存储在MySQL bin/schematool -initSchema -dbType mysql hive-env.sh: export HADOOP_HOME=/opt/module/hadoop export HIVE_CO 阅读全文

posted @ 2022-01-10 11:06 CHANG_09 阅读(38) 评论(0) 推荐(0) 编辑

启动Hadoop集群 namenode 未启动检查日志和xml配置原因 java 版本太高

摘要：启动失败： [root@hadoop106 ~]# shells/jps.sh jps 106 17086 DataNode 16942 NameNode 17582 Jps jps 107 16466 DataNode 17017 Jps jps 108 16308 SecondaryNameNo 阅读全文

posted @ 2022-01-08 11:00 CHANG_09 阅读(268) 评论(0) 推荐(0) 编辑

Hadoop一直处于安全模式（hadoop去掉保护模式）

摘要：转自：hive的hiveserver2模式启动不起来，发现Hadoop一直处于安全模式 - -小鱼- - 博客园 (cnblogs.com) hadoop去掉保护模式命令hadoop fs –safemode get 查看安全模式状态命令hadoop fs –safemode enter 进入安全阅读全文

posted @ 2022-01-07 14:19 CHANG_09 阅读(1289) 评论(0) 推荐(0) 编辑