摘要： 1. Hue概述 2. Hue编译安装 3. Hue整合Hadoop,Hive 1.Hue概述 Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由Cloudera Desktop 演化而来，由 Cloudera 贡献给开源社区，它是基 阅读全文

摘要： 1. Hive概述 2. Hive安装与配置 3. 数据类型与文件格式 4. HQL操作 --DDL 5. 数据操作 6. HQL操作 --DQ 7. 函数 8. HQL操作 --DML 9. 元数据管理与存储 1、Hive概述 1.1 Hive产生背景 直接使用MapReduce处理大数据，将面临 阅读全文

摘要： 目录 1.1 生产者1.2 消费者1.3 主题1.4 分区1.5 物理存储1.6 稳定性1.7 延时队列1.8 重试队列 1.1 生产者 1.1.1 消息发送1.1.1.1 数据生产流程解析 Producer创建时，会创建一个Sender线程并设置为守护线程。 生产消息时，内部其实是异步流程；生产的 阅读全文

摘要： 目录 1.1 概念和基本架构 1.1.1 Kafka介绍 1.1.2 Kafka优势 1.1.3 Kafka应用场景 1.1.4 基本架构 1.1.5 核心概念 1.2 Kafka安装与配置 1.3 Kafka开发实战 1.4 服务端参数配置 1.1 概念和基本架构 1.1.1 Kafka介绍 Ka 阅读全文

摘要： 一.添加新的分区添加新的分区有2中情况：（1）原分区里边界是maxvalue或者default。 这种情况下，我们需要把边界分区drop掉，加上新分区后，在添加上新的分区。 或者采用split，对边界分区进行拆分。（2）没有边界分区的。 这种情况下，直接添加分区就可以了。以边界分区添加新分区示例： 阅读全文

摘要： 一、分区概念 Oracle允许将表、索引、索引组织表细分成更小的片，每个片我们称之为分区。分区有其自己的名字和存储参数。 每行数据只能属于一个分区，分区键决定数据行属于哪个分区。分区键由一个或多个列组成。Oracle自动的将数据的DML操作映射到相应的分区中。 二、分区的优点： a.由于将数据分散到 阅读全文

摘要： 一.HDFS简介： HDFS （全称：Hadoop Distribute File System，Hadoop 分布式文件系统）是 Hadoop 核心组成，是分布式存储服务。 分布式文件系统横跨多台计算机，在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。 HDFS是分 阅读全文

摘要： 一.前提： 三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步） --前面的文章已经提过了，不再赘述。二.在/opt目录下创建文件夹 mkdir -p /opt/lagou/software --软件安装包存放目录 mkdir -p /opt/lagou/servers --软 阅读全文

摘要： 一.三台虚拟机关闭防火墙 查看防⽕火墙状态 systemctl status firewalld 二.三台机器器关闭selinux vi /etc/selinux/config三.三台机器免密登录 1.配置hostname与IP映射 --上篇文章已经讲过了，不再赘述。2.在所有主机上创建⽬目录并赋予 阅读全文

摘要： 一.虚拟机的安装 1.安装VMware及Centos7 1.2 给虚拟机挂载操作系统 1.3 开启虚拟机并安装操作系统 配置语⾔言环境，选择English，点击continue继续按钮。 点击DATE&TIME 在地图位置点击中国，选择时区为shanghai，点击左上⻆角的Done按钮完成设置 选择 阅读全文