摘要：
一、Spark下载 进入官网下载需要的版本： http://archive.apache.org/dist/spark/ 官网下载地址太慢，建议在Apache国内镜像下载 地址1：http://mirror.bit.edu.cn/apache/ 地址2：https://mirrors.tuna.ts 阅读全文
posted @ 2021-02-04 15:38 work hard work smart 阅读(134) 评论(0) 推荐(0) 编辑
摘要：
一、Spark SQL介绍 1、为什么需要SQL 1) 事实上的标准 2) 易学易用 3) 受众面大 2、Shark（已经停止维护，不建议在生产上使用。） Shark产生的目的就是为了让hive跑在spark之上。 Hive： 类似于sql的Hive QL语言， sql 翻译成 mapreduce 阅读全文
posted @ 2021-02-03 16:29 work hard work smart 阅读(125) 评论(0) 推荐(0) 编辑
摘要：
Spark是一个快速且通用的集群计算平台 1、Spark概述及特点 1) Speed： 速度。执行速度快，开发速度提高了很多。 Spark扩充了流行的MapReduce计算模型 Spark是基于内存的计算。 2) Ease of User： 易用。支持多种语言,如Python，Java，Scala等 阅读全文
posted @ 2021-02-03 13:37 work hard work smart 阅读(309) 评论(0) 推荐(0) 编辑
摘要：
1、创建表 create table hive_wordcount(context string); 2、查看表 show tables; 3、查询表数据 4、查看刚才创建的Mysql数据库sparksql的表TBLS，可以发现已经有1条记录了，TBL_NAME 为hive_wordcount 从C 阅读全文
posted @ 2021-02-02 23:12 work hard work smart 阅读(164) 评论(0) 推荐(0) 编辑
摘要：
1、Hive是什么 由Facebook开源，最初用于解决海量结构化的日志数据统计问题。 构建在Hadoop之上的数据仓库 Hive定义了一种类SQL查询语言： HQL（类似SQL但不完全相同） 通常用于进行离线数据处理（采用MapReduce） 底层支持多种不同的执行引擎（包括MapReduce、T 阅读全文
posted @ 2021-02-02 21:12 work hard work smart 阅读(175) 评论(0) 推荐(0) 编辑
摘要：
1、YARN架构 图片来自： https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/YARN.html 1个RN（ResourceManager）和多个NM(NodeManager) ResourceManager职责： 阅读全文
posted @ 2021-01-31 23:09 work hard work smart 阅读(161) 评论(0) 推荐(0) 编辑
摘要：
这里简单介绍下MapReduce 1、什么是MapReduce 1、源自Google的MapReduce论文 2、发表于2004年12月，Hadoop MapReduce是Google MapReduce的克隆版 2、MapReduce特点 易于编程 良好的扩展性 高容错性 海量数据的离线处理 3、 阅读全文
posted @ 2021-01-31 12:20 work hard work smart 阅读(194) 评论(0) 推荐(0) 编辑
摘要：
HBase安装 HBase下载：http://archive.apache.org/dist/hbase/ 我这里下载的是hbase-1.1.0-bin.tar.gz 1) 解压： tar -zxvf hbase-1.1.0-bin.tar.gz 2) 配置JDK /root/tools/hbase 阅读全文
posted @ 2021-01-30 23:10 work hard work smart 阅读(134) 评论(0) 推荐(0) 编辑
摘要：
一、什么是大数据 专业咨询公司IDC对大数据特征的定义： 4V 1、数据量（Volume）： TB，PB级别以上。 2、多样性，复杂性（Variety）: 结构化数据(关系型数据库），文件，视频，音频、图像，地理位置 3、基于高度分析的新价值（Value）： 价值密度比较低，比如1个小时的视频，只有 阅读全文
posted @ 2021-01-30 19:20 work hard work smart 阅读(447) 评论(0) 推荐(0) 编辑
摘要：
一、基本概念 1、Stream是一个高级的迭代器，不是数据结构，不是一个集合，不会存放数据。关注的是数据高效的处理，数据在一个流水线中执行。 2、外部迭代和内部迭代 public class StreamDemo1 { public static void main(String[] args) { 阅读全文
posted @ 2021-01-18 13:35 work hard work smart 阅读(239) 评论(0) 推荐(0) 编辑
摘要：
一、logstash安装 logstash作为kafka日志的消费者 1、将文件上传到服务器/home/tools路径下 tar -zxvf logstash-7.4.2.tar.gz -C /usr/local/ 进入/usr/local/logstash-7.4.2，查看文件 2、创建scrip 阅读全文
posted @ 2021-01-14 16:33 work hard work smart 阅读(580) 评论(0) 推荐(0) 编辑
摘要：
一、设计 1、海量日志收集架构设计(ELK) Beats: 主要用于收集日志 Filebeat： 监控文件的变更，将变更抓取出来。然后输出到其它地方。（使用Filebeat将收集过来数据转储到Kafka） Logstash： 对日志进行过滤。对过滤的数据存储到Elasticsearch Kibana 阅读全文
posted @ 2021-01-14 13:48 work hard work smart 阅读(494) 评论(0) 推荐(0) 编辑
摘要：
默认情况下，logstash是没有配置中文分词的， 那要如何解决呢？ 解放方法： 自定义模板配置中文分词 自定义模板中增加分词器 1、创建自定义模板 完整的模板内容 logstash-ik.json { "order": 0, "version": 1, "index_patterns": ["*" 阅读全文
posted @ 2021-01-12 18:01 work hard work smart 阅读(406) 评论(0) 推荐(0) 编辑
摘要：
152、Kafka可以脱离zookeeper单独使用吗？ 为什么？ kafka不能推理Zookeeper单独使用，因为Kafka使用Zookeeper管理和协调kafka的节点服务器。 153. kafka有几种消息保留测策略。 kafka有两种消息保存策略： 按过去时间保留和按照存储的消息大小保留 阅读全文
posted @ 2021-01-12 17:55 work hard work smart 阅读(109) 评论(0) 推荐(0) 编辑
摘要：
一、可靠性消息投递 1、rabbit-core-producer工程下创建服务 @Service public class MessageStoreService { @Autowired private BrokerMessageMapper brokerMessageMapper; public 阅读全文
posted @ 2021-01-12 11:11 work hard work smart 阅读(506) 评论(1) 推荐(0) 编辑
摘要：
1、实现基础组件实现关键点 基础组件封装设计-迅速消息发送 基础组件封装设计-确认消息发送 基础组件封装设计-延迟消息发送 2、基础组件需要实现的功能 迅速、延迟、可靠 消息异步化序列化 链接池化、高性能 完备的补偿机制 3、创建工程 rabbit-common : 公共模块 rabbit-api: 阅读全文
posted @ 2021-01-11 16:32 work hard work smart 阅读(766) 评论(0) 推荐(0) 编辑
摘要：
1、什么是Sentinel Sentinel轻量级的流量控制，熔断降级Java库。面向云原生微服务的高可用流控防护组件 https://github.com/alibaba/Sentinel 2、集成Sentinel 在Order服务中集成Sentinel 增加依赖 <dependency> <gr 阅读全文
posted @ 2021-01-08 15:23 work hard work smart 阅读(117) 评论(0) 推荐(0) 编辑
摘要：
一、为什么要使用网关？ 1、如果有上百个微服务，没有使用微服务网关，客户端要使用上百个接口地址。（使用网关，对外只暴露一个域名） 2、如果某个微服务拆分成多个服务，客户端要集成新的拆分服务的Url。（使用网关，对外只暴露一个域名，不用管微服务如何拆分，客户端重构成本降低。） 3、如果有上百个微服务， 阅读全文
posted @ 2021-01-08 15:03 work hard work smart 阅读(422) 评论(0) 推荐(0) 编辑