摘要:
1.安装环境说明 三台机器安装好CentOS-7-x86_64-Minimal-1708.iso 下载地址:https://www.centos.org/download/ 最好在安装时设置好IP和HOSTNAME 三台机器的IP和HOSTNAME下载如下 主 192.168.31.11 SY-00 阅读全文
摘要:
Elasticsearch Jar包准备 所有节点导入elasticsearch-hadoop-5.5.1.jar /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/elasticsearch-hadoop-5.5.1.j 阅读全文
摘要:
ELK介绍 ELK是三个开源软件的缩写,即elasticsearch、logstack、kibana。 Elasticsearch:开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等 阅读全文
摘要:
三、集成:数据源 1、Apache Kafka:一种高吞吐量的分布式发布订阅消息系统 (1) (*)消息的类型 (*)常见的消息系统 Kafka、Redis > 只支持Topic JMS(Java Messaging Service标准):Topic、Queue > Weblogic (*)角色:生 阅读全文
摘要:
Spark Streaming: Spark用于处理流式数据的模块,类似Storm 核心:DStream(离散流),就是一个RDD 一、Spark Streaming基础 1、什么是Spark Streaming? (*)Spark Streaming makes it easy to build 阅读全文
摘要:
Spark SQL:类似Hive 一、Spark SQL基础 1、什么是Spark SQL? (*) Spark SQL is Apache Spark's module for working with structured data. (*) 处理结构化数据的引擎 (*) 底层:依赖RDD,把S 阅读全文