随笔分类 - BigData
摘要：环境 操作系统: Windows 11 Hadoop版本: 2.10.1 hadoop.dll 不存在 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 解决方案 下载对应版本的 winutils
阅读全文
摘要：环境 操作系统: Windows 11 Hadoop版本: 2.10.1 hadoop.dll 不存在 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 解决方案 下载对应版本的 winutils
阅读全文
摘要：Flume 的定义 Flume由Cloudera公司开发，是一个 分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据； Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是 实时采集日志的数据库引擎
阅读全文
摘要：Sqoop 只用在一台有 HIVE 的服务器上安装即可 这里我选择的是 slave2 下载安装 Apacha Sqoop 官方下载地址 http://archive.apache.org/dist/sqoop/1.4.7/ 下载上传至 /opt/software 解压至 /opt/servers t
阅读全文
摘要：Master节点 下载安装包 https://archive.apache.org/dist/hbase/2.3.3/ 解压安装包到指定的规划目录 /opt/software tar -zxvf hbase-2.3.3-bin.tar.gz -C /opt/servers 配置文件 指定 JDK v
阅读全文
摘要：Zookeeper 是什么？ Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造 成脏读的问题。 ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有
阅读全文
摘要：HUE 第一部分Hue概述 Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI系统，最早是由 Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django实现的。通过使用Hue可以在浏览器端的
阅读全文
摘要：HiveServer2(HS2)是一种允许客户端对Hive执行查询的服务。HiveServer2是HiveServer1的后续版本。HS2支持多客户端并发和身份验证，旨在为JDBC、ODBC等开放API客户端提供更好的支持。 HS2包括基于Thrift的Hive服务（TCP或HTTP)和用于WebU
阅读全文
摘要：Hive 数据类型 普通数据类型 Hive 类似和 Java 语言中一样，会支持多种不同长度的整型和浮点类型数据，同时也支持布尔类型、字符串类型，时间截数据类型以及二进制数组数据类型等。具体的如下表： | 大类 | 类型 | | | | | Integers(整型） | TINYINT 1字节的有符
阅读全文
摘要：安装前提 本教程基于《Apache Hadoop 完全分布式集群搭建》下进行搭建 https://www.cnblogs.com/LzsCxb/p/15389375.html 软件版本 Hadoop 2.10.1 Mysql 8.0.26 Hive 2.3.9 1. 安装 Mysql(8.0.26)
阅读全文
摘要：需求 统计每台智能音箱设备内容播放时长 原始日志格式 输出结果 整体思路分析 Map 阶段： 1. 读取一行文本数据，按照制表符切分 2. 抽取出自有内容时长，第三方内容时长，设备 id 3. 输出：key 设备 id,value:封装一个 bean 对象，bean 对象携带自有内容时长，第三方内容
阅读全文
摘要：工程配置 1. 在 windows 中配置 hadoop 及环境变量 HADOOP_ 下载 winutils.exe 放入 bin目录中 https://github.com/cdarlint/winutils 2. 创建 maven 工程 引入依赖 3. 编写 log4j 配置文件 参考：http
阅读全文
摘要：环境配置 Hadoop 框架是采用 Java 语言编写，需要 Java 环境(jvm) JDK版本：JDK8 版本 集群：使用 vmware 虚拟机虚拟三台 linux节点，linux操作系统: Centos7 虚拟机环境准备三台虛拟机(静态iP、关闭防火墙、修改主机名、配置兔密登录、集群时间同步)
阅读全文
