随笔分类 -  大数据

大数据相关文章
摘要：azkaban 1、B站尚硅谷视频的学习笔记 https://blog.csdn.net/qq_35128600/article/details/104848294 大数据博客好文 hive函数 Hive函数详解与案列实战 https://blog.51cto.com/u_10312890/2469 阅读全文
posted @ 2022-03-17 15:05 起跑线小言 阅读(9) 评论(0) 推荐(0) 编辑
03Hadoop
摘要：1. MapReduce 介绍 1.1. MapReduce 设计构思和框架结构 3. WordCount 需求: 在一堆给定的文本文件中统计输出每一个单词出现的总次数 4. MapReduce 运行模式 yarn jar hadoop_hdfs_operate‐1.0‐SNAPSHOT.jar c 阅读全文
posted @ 2021-12-06 21:43 起跑线小言 阅读(22) 评论(0) 推荐(0) 编辑
02Hadoop 核心介绍
摘要：Hadoop 02 核心介绍 1. HDFS HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB 阅读全文
posted @ 2021-12-06 20:33 起跑线小言 阅读(79) 评论(0) 推荐(0) 编辑
01Hadoop-入门&集群环境搭建
摘要：Hadoop01-入门&集群环境搭建 今日内容 ​ Hadoop的介绍 ​ 集群环境搭建准备工作 ​ Linux命令和Shell脚本增强 ​ 集群环境搭建 大数据概述 ​ 大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策. ​ 处理流程: ​ 1:获取数据 ​ 阅读全文
posted @ 2021-12-06 20:31 起跑线小言 阅读(116) 评论(0) 推荐(0) 编辑
大--RocketMQ-1笔记
摘要：1 概述 ​ MQ（Message Queue）消息队列，是一种用来保存消息数据的队列 ​ 队列：数据结构的一种，特征为 “先进先出” 2.MQ 的作用 应用解耦(技术上必须弄好才能使用MQ ) 快速应用变更维护 流量削锋(削峰填谷) 3.MQ的优缺点 缺点: 1系统可用性降低: 集群 2系统复杂度 阅读全文
posted @ 2021-11-23 09:10 起跑线小言 阅读(42) 评论(0) 推荐(0) 编辑