work hard work smart

专注于Java后端开发。 不断总结，举一反三。
随笔 - 1158, 文章 - 0, 评论 - 153, 阅读 - 186万
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

01 2021 档案

资源调度框架YARN介绍

摘要：1、YARN架构 图片来自： https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/YARN.html 1个RN（ResourceManager）和多个NM(NodeManager) ResourceManager职责： 阅读全文

posted @ 2021-01-31 23:09 work hard work smart 阅读(169) 评论(0) 推荐(0) 编辑

MapReduce介绍

摘要：这里简单介绍下MapReduce 1、什么是MapReduce 1、源自Google的MapReduce论文 2、发表于2004年12月，Hadoop MapReduce是Google MapReduce的克隆版 2、MapReduce特点 易于编程 良好的扩展性 高容错性 海量数据的离线处理 3、 阅读全文

posted @ 2021-01-31 12:20 work hard work smart 阅读(198) 评论(0) 推荐(0) 编辑

HBase安装和常用命令使用

摘要：HBase安装 HBase下载：http://archive.apache.org/dist/hbase/ 我这里下载的是hbase-1.1.0-bin.tar.gz 1) 解压： tar -zxvf hbase-1.1.0-bin.tar.gz 2) 配置JDK /root/tools/hbase 阅读全文

posted @ 2021-01-30 23:10 work hard work smart 阅读(137) 评论(0) 推荐(0) 编辑

大数据基本概念介绍

摘要：一、什么是大数据 专业咨询公司IDC对大数据特征的定义： 4V 1、数据量（Volume）： TB，PB级别以上。 2、多样性，复杂性（Variety）: 结构化数据(关系型数据库），文件，视频，音频、图像，地理位置 3、基于高度分析的新价值（Value）： 价值密度比较低，比如1个小时的视频，只有 阅读全文

posted @ 2021-01-30 19:20 work hard work smart 阅读(455) 评论(0) 推荐(0) 编辑

java 8 Stream流编程

摘要：一、基本概念 1、Stream是一个高级的迭代器，不是数据结构，不是一个集合，不会存放数据。关注的是数据高效的处理，数据在一个流水线中执行。 2、外部迭代和内部迭代 public class StreamDemo1 { public static void main(String[] args) { 阅读全文

posted @ 2021-01-18 13:35 work hard work smart 阅读(247) 评论(0) 推荐(0) 编辑

Kafka海量日志收集实战2-logstash日志过滤

摘要：一、logstash安装 logstash作为kafka日志的消费者 1、将文件上传到服务器/home/tools路径下 tar -zxvf logstash-7.4.2.tar.gz -C /usr/local/ 进入/usr/local/logstash-7.4.2，查看文件 2、创建scrip 阅读全文

posted @ 2021-01-14 16:33 work hard work smart 阅读(606) 评论(0) 推荐(0) 编辑

Kafka海量日志收集实战1

摘要：一、设计 1、海量日志收集架构设计(ELK) Beats: 主要用于收集日志 Filebeat： 监控文件的变更，将变更抓取出来。然后输出到其它地方。（使用Filebeat将收集过来数据转储到Kafka） Logstash： 对日志进行过滤。对过滤的数据存储到Elasticsearch Kibana 阅读全文

posted @ 2021-01-14 13:48 work hard work smart 阅读(557) 评论(0) 推荐(0) 编辑

ElasticSearch 自定义模板配置中文分词

摘要：默认情况下，logstash是没有配置中文分词的， 那要如何解决呢？ 解放方法： 自定义模板配置中文分词 自定义模板中增加分词器 1、创建自定义模板 完整的模板内容 logstash-ik.json { "order": 0, "version": 1, "index_patterns": ["*" 阅读全文

posted @ 2021-01-12 18:01 work hard work smart 阅读(421) 评论(0) 推荐(0) 编辑

Kafka总结

摘要：152、Kafka可以脱离zookeeper单独使用吗？ 为什么？ kafka不能推理Zookeeper单独使用，因为Kafka使用Zookeeper管理和协调kafka的节点服务器。 153. kafka有几种消息保留测策略。 kafka有两种消息保存策略： 按过去时间保留和按照存储的消息大小保留 阅读全文

posted @ 2021-01-12 17:55 work hard work smart 阅读(115) 评论(0) 推荐(0) 编辑

RabbitMQ基础组件封装实践2-(分布式定时任务elastic-job封装)

摘要：一、可靠性消息投递 1、rabbit-core-producer工程下创建服务 @Service public class MessageStoreService { @Autowired private BrokerMessageMapper brokerMessageMapper; public 阅读全文

posted @ 2021-01-12 11:11 work hard work smart 阅读(520) 评论(1) 推荐(0) 编辑

RabbitMQ基础组件封装实践1

摘要：1、实现基础组件实现关键点 基础组件封装设计-迅速消息发送 基础组件封装设计-确认消息发送 基础组件封装设计-延迟消息发送 2、基础组件需要实现的功能 迅速、延迟、可靠 消息异步化序列化 链接池化、高性能 完备的补偿机制 3、创建工程 rabbit-common : 公共模块 rabbit-api: 阅读全文

posted @ 2021-01-11 16:32 work hard work smart 阅读(890) 评论(0) 推荐(0) 编辑

服务容错-Sentinel

摘要：1、什么是Sentinel Sentinel轻量级的流量控制，熔断降级Java库。面向云原生微服务的高可用流控防护组件 https://github.com/alibaba/Sentinel 2、集成Sentinel 在Order服务中集成Sentinel 增加依赖 <dependency> <gr 阅读全文

posted @ 2021-01-08 15:23 work hard work smart 阅读(121) 评论(0) 推荐(0) 编辑

微服务网关 Spring Cloud Gateway实践

摘要：一、为什么要使用网关？ 1、如果有上百个微服务，没有使用微服务网关，客户端要使用上百个接口地址。（使用网关，对外只暴露一个域名） 2、如果某个微服务拆分成多个服务，客户端要集成新的拆分服务的Url。（使用网关，对外只暴露一个域名，不用管微服务如何拆分，客户端重构成本降低。） 3、如果有上百个微服务， 阅读全文

posted @ 2021-01-08 15:03 work hard work smart 阅读(435) 评论(0) 推荐(0) 编辑

分布式锁实战,分布式锁方案选择

摘要：分布式锁实现方案优缺点 不推荐自己编写的分布式锁 推荐Redisson和Curator实现的分布式锁。 一、使用锁解决电商中的超卖问题？ 举例：某件商品库存数量10件，结果卖出了20件 二、超卖现象的产生 A和B同时看到这个商品，加入购物车，并同时提交订单，导致了超卖的现象。 三、超卖现象模拟 1） 阅读全文

posted @ 2021-01-02 11:28 work hard work smart 阅读(307) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示