随笔分类 - 大数据
摘要:官网:https://gethue.com/ mysql环境 docker run -d -p 3306:3306 --restart=always --name mysql -e MYSQL_ROOT_PASSWORD=root mysql:5.6 # 下载配置文件 docker cp 容器:容器
阅读全文
摘要:大数据之—CDH搭建 参考:https://zhuanlan.zhihu.com/p/444565129 前言 1、CDH概述 Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Ha
阅读全文
摘要:前言 大数据产生与处理系统是各种计算设备集群的,计算设备将统一、同步的标准时间用于记录各种事件发生时序,如E-MAIL信息、文件创建和访问时间、数据库处理时间等。 大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性,若计算机时间不同步,这些应用或操作或将无法正常进行。 大数据
阅读全文
摘要:前言 参考:https://blog.csdn.net/weixin_44385486/article/details/124197370 运行模式 local:单机模式,尽量不使用 standalone: flink自带集群,资源管理由flink集群管理,开发环境测试使用 flink on yar
阅读全文
摘要:前言 参考:https://blog.csdn.net/wzb1983/article/details/125761231 官网:http://spark.apache.org/downloads.html 软件仓库:https://archive.apache.org/dist/spark/ 软件
阅读全文
摘要:前言 本文参考:https://blog.csdn.net/zhengzaifeidelushang/article/details/127841043 参考:https://blog.csdn.net/shuyv/article/details/128847853 参考:https://blog.
阅读全文
摘要:前言 参考:https://blog.csdn.net/huxili2020/article/details/120212162?spm=1001.2014.3001.5502 软件仓库:https://archive.apache.org/dist/flume/ 软件:https://archiv
阅读全文
摘要:前言 参考:https://blog.csdn.net/huxili2020/article/details/120459471 前置条件:Hadoop、Zookeeper 均需要正常的集群环境 官网:https://hbase.apache.org/downloads.html 软件仓库:http
阅读全文
摘要:前言 参考:https://blog.csdn.net/huxili2020/article/details/120371459 一、安装 mkdir -p /opt/kafka && cd /opt/kafka tar -zxvf /opt/kafka/kafka_2.13-3.3.1.tgz m
阅读全文
摘要:前言 参考博客:https://blog.csdn.net/weixin_55008454/article/details/128445784 一、下载 zk仓库地址:https://archive.apache.org/dist/zookeeper/ 软件包:https://archive.apa
阅读全文
摘要:Hadoop 由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。它实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed F
阅读全文
摘要:前言 Hive是hadoop的一种客户端工具 官网:https://hive.apache.org/ 文档地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted GitHub地址:https://github.com/ap
阅读全文
摘要:从纯净centos7虚拟机克隆出一台虚拟机节点node1,先安装一些基础的环境,后面基于node1基础节点状态克隆出其余节点 一、节点规划 192.168.0.137 node1 192.168.0.138 node2 192.168.0.139 node3 配置域名映射 echo "192.168
阅读全文
摘要:HUE安装与使用 https://blog.csdn.net/u011250186/article/details/109510493 Hive架构优点及使用场景 https://www.jianshu.com/p/c977c7906b86 一篇了解大数据架构及Hadoop生态圈 https://w
阅读全文