摘要：
"一、Hive概念" "二、为什么要是用Hive" "三、Hive优缺点" "四、hive架构" 一、Hive概念 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的,是建立在Hadoop上的数据仓库基础架构。作为Hadoopd的一个数据仓库的工具， 阅读全文
摘要：
"一、HDFS概念" "二、HDFS优缺点" "三、HDFS如何存储" 一、HDFS概念 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服 阅读全文
摘要：
"一、MapReduce简介" "二、MapReduce并行处理的基本过程" "三、MapReduce实际处理流程" "四、一个job的运行流程" 一、MapReduce简介 MapReduce是一种并行可扩展计算模型，并且有较好的容错性，是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻 阅读全文
摘要：
一.数据仓库概念 将多数据源中的数据整合一起，进行数据分析，此时数据仓库对多种业务数据进行筛选和整合，可以用于数据分析、数据挖掘、数据报表。时效性T+1. 二.数据仓库的特点 主题性：数据仓库是针对某个主题来进行组织，比如滴滴出行，司机行为分析就是一个主题，所以可以将多种不同的数据源进行整合。而传统 阅读全文
摘要：
一、MapReduce 原理 MapReduce 是一种变成模式，用于大规模的数据集的分布式运算。通俗的将就是会将任务分给不同的机器做完，然后在收集汇总。 MapReduce有两个核心：Map,Reduce,它们分别单独计算任务，每个机器尽量计算自己hdfs内部的保存信息，Reduce则将计算结果汇 阅读全文
摘要：
一、虚拟机安装centos7需要显示IPv4地址时设置 修改ip addr 中显示ipv4 1. 修改 ONBOOT=no 为 ONBOOT=yes， 2. 同时需要添加HWADDR=00:0c:29:c8:b6:a7，其中后缀mac地址需要填写ip addr中ech33的ip6的mac 00:0c 阅读全文
摘要：
Redis缓存 "Redis 作为数据查询" "Redis 作为资源的存储" Redis 作为数据查询 redis mysql缓存模式一般采用cache Aside Pattern模式(该模式不是能够实现，缓存实现写入到数据库中，如果需要这样的，可以使用ignite缓存)： 失效：应用程序先从cac 阅读全文
摘要：
flink初始 "flink是什么" "为什么使用flink" "flink的基础概念" "flink剖析" "实例" flink是什么 flink是一个用于有界和无界数据流进行有状态的计算框架。 flink提供了不同级别的抽象来开发流和批处理应用程序。 最底层是Stateful Stream pr 阅读全文
摘要：
一、Flume是什么 Flume是一个数据，日志收集的一个组件，可以用于对程序，nginx等日志的收集，而且非常简单，省时的做完收集的工作。Flume是一个分布式、可靠、和高可用的海量日志采集聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集日志，同时Flume对日志做简单的处理。 Fl 阅读全文
摘要：
SpringCloudAlibaba学习之路 : - nacos源码分析 nacos原理--nacos注册原理分析 Hadoop 学习： 1. hadoop 分布式安装 2. Hadoop ——HDFS存储 3. MapReduce原理——分而治之 4. MapReduce实例 Hive学习： 1. 阅读全文