hive函数大全
摘要：
在hive内部有许多函数，如下： 内置运算符 关系运算符 算术运算符 逻辑运算符 复杂类型函数 内置函数内置聚合函数 数学函数 收集函数 类型转换函数 日期函数 条件函数 字符函数 内置聚合函数 内置表生成函数 1.1关系运算符 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <> 阅读全文
posted @ 2020-08-29 22:16 阿飞飞飞 阅读(1383) 评论(0) 推荐(0) 编辑
2020年8月29日 #
hive的配置和HQL的查询优化
摘要：
hive属于一种类SQL数据库 配置信息 pwd =>/opt/bigdata/hadoop/hive110/conf hive110/conf/hive-site.xml配置 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml- 阅读全文
posted @ 2020-08-29 15:11 阿飞飞飞 阅读(393) 评论(0) 推荐(0) 编辑
2020年8月28日 #
hadoop——高可用集群搭建的原理与方法
摘要：
一、首先谈一谈zookeeper的选举机制 注:高可用集群中有两台机器作为namenode,无论在任何时候，集群中只能有一个namenode作为active状态，而另一个是standby状态,为了达到namenode快速容错的目的，引入zookeeper后，hadoop-ha可以在active的na 阅读全文
posted @ 2020-08-28 23:03 阿飞飞飞 阅读(840) 评论(0) 推荐(0) 编辑
2020年8月21日 #
Hadoop Combiner的三次测试...
摘要：
当Client申请作业后，Resource Scheduler会进行调度，同时开启Map Task 和Reduce Task 测试一：mapper->reducer ##数据量<80Mb,在mapper端不设置combiner 若不设置combiner，经过map之后的文件数据将直接到达reduce 阅读全文
posted @ 2020-08-21 10:51 阿飞飞飞 阅读(181) 评论(0) 推荐(0) 编辑
2020年8月17日 #
关于Hadoop集群的配置方法——另附安装网址
摘要：
hadoop-2.6.0.tar.gz（压缩包网址 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/） 配置前需要配置主机名：vi etc/hosts ip loclhost ... 1、修改目录权限 chown -R root: 阅读全文
posted @ 2020-08-17 19:29 阿飞飞飞 阅读(452) 评论(0) 推荐(0) 编辑
2020年8月12日 #
关于——This is probably not a problem with npm. There is likely additional logging output above.——的解决方法
摘要：
在npm的安装时，npm install 出现了This is probably not a problem with npm. There is likely additional logging output above.错误！ 如下图： 额外的日志输出错误！！！在网上百度了一般的解决方法，适用 阅读全文
posted @ 2020-08-12 19:44 阿飞飞飞 阅读(10181) 评论(0) 推荐(0) 编辑
2020年8月11日 #
关于./xxx.sh：No such file or directory 的问题解决
摘要：
问题 利用shell脚本启动从机的elasticsearch的时候发现，只有主机启动了，从机未启动，发现shell命令里面，找不到 ./remote.sh文件 解决方法： 由于shell脚本内用的是相对路径，不知道为什么系统未能读取，运用绝对路径重写，最后执行成功！ ./remote.sh => s 阅读全文
posted @ 2020-08-11 22:20 阿飞飞飞 阅读(946) 评论(0) 推荐(0) 编辑
2020年8月10日 #
elasticsearch的配置
摘要：
elasticsearch不能用root启动解决问题 ——es安装好之后，使用root启动会报错：can not run elasticsearch as root 所以在创建时需要将登录账号设置为游客登录：chown -R username:root es 一、位于es/config/下有三个文件 阅读全文
posted @ 2020-08-10 11:01 阿飞飞飞 阅读(488) 评论(0) 推荐(0) 编辑
2020年8月4日 #
如何在虚拟机上安装mysql...
摘要：
注:由于本次安装方式为 online，所以需要对虚拟机连接外网进行配置 TYPE="Ethernet" BOOTPROTO="static" static 固定ip不变 DEFROUTE="yes" NAME="ens33" UUID="15149841-829c-4289-b55f-3ed794d 阅读全文
posted @ 2020-08-04 18:57 阿飞飞飞 阅读(2918) 评论(0) 推荐(0) 编辑
JDK与Tomcat在虚拟机内的安装教程
摘要：
注：准备工作-下载Xftp并关联数据库的ip 1、将JDK与Tomcat的安装包导入 1.1、建文件夹 /opt目录:这是给主机额外安装软件所摆放的目录 在/opt目录下面新建两个目录，分别放置安装包和压缩包 mkdir bigdata install bigdata:放置压缩包 install:放 阅读全文
posted @ 2020-08-04 16:33 阿飞飞飞 阅读(407) 评论(0) 推荐(0) 编辑