摘要：
一. 将安装包上传至目标服务器(即日志所在的服务器) 就是我提供的安装包filebeat-7.6.2-linux-x86_64.tar.gz 将安装包上传至/opt目录下 二. 解压安装 进入/opt目录 cd /opt tar -zxvf ./ filebeat-7.6.2-linux-x86_6 阅读全文
摘要：
一.安装包准备 下载地址: https://www.mongodb.com/try/download/community 二.安装 1. 解压安装 tar -zxvf mongodb-linux-x86_64-rhel70-4.4.13.tgz -C /opt/module/ cd /opt/mod 阅读全文
摘要：
一.安装包准备 下载地址: https://downloads.mysql.com/archives/community/ 二.安装 1. 卸载mysql和mariadb相关 rpm -qa | grep mariadb rpm -qa | grep mysql rpm -e [查出来的包] 如果卸 阅读全文
摘要：
基于虚拟机搭建hdp集群,以下是我搭建集群的虚拟机环境说明 一.环境预配置 参照官网配置步骤: 1. 配置hosts与主机名 vim /etc/hosts # 添加以下内容(三台) 192.168.127.121 hadoop121 192.168.127.122 hadoop122 192.168 阅读全文
摘要：
先贴上官网tdh(Transwarp Data Hub)星环大数据平台生态图: 之前一直用的cdh,最近打算切换大数据平台,所以就拿cdh组件和tdh组件进行比较,下面只是目前用到的组件,个人理解对应关系如下: | cdh | tdh | 备注 | | | | | | navigator | aud 阅读全文
摘要：
环境说明: cdh版本:cdh6.3.2 组件版本信息如下: | 组件 | 版本 | | | | | Cloudera Manager | 6.3.1 | | Flume | 1.9.0+cdh6.3.2 | | Hadoop | 3.0.0+cdh6.3.2 | | HBase | 2.1.0+c 阅读全文
摘要：
环境说明: cdh版本:cdh6.3.2 组件版本信息如下: | 组件 | 版本 | | | | | Cloudera Manager | 6.3.1 | | Flume | 1.9.0+cdh6.3.2 | | Hadoop | 3.0.0+cdh6.3.2 | | HBase | 2.1.0+c 阅读全文
摘要：
Hive函数大全 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 目录 · 数学函数 · 集合函数 · 类型转换函数 · 日期函数 · 条件函数 · 字符函数 · 聚合函数 · 表生成函数 数学函数 R 阅读全文
摘要：
一.数仓为什么分层 把复杂问题简单化 将复杂的任务分解成多层来完成,每层只处理一个简单的任务,方便定位问题 减少重复开发 规范数据分层,通过中间层数据,能够减少极大的重复计算,增加以此计算结果的复用性 隔离原始数据 不论是数据的异常还是数据的敏感性,使真实的数据与统计数据解耦开 二.数据分层理论 o 阅读全文
摘要：
一.官网下载hbase安装包 https://dlcdn.apache.org/hbase/2.3.7/hbase-2.3.7-bin.tar.gz 二.安装hbase zookeeper已部署并启动 hadoop已部署并启动 解压hbase tar -zxvf hbase-2.3.7-bin.ta 阅读全文