摘要： 1.报错日志： 1 23/11/01 22:14:25 INFO [Executor task launch worker for task 79952] MapOutputTrackerWorker: Don't have map outputs for shuffle 7, fetching t 阅读全文

摘要： 1、什么是总线 总线就是主板上连接每个电子元件的电路 计算机内部有很多电子元器件，他们之间会有数据的沟通和传输的需求，比如cpu想和显卡交互数据，cpu就需要拉一条通往显卡的电路，cpu想和硬盘交互数据，就需要拉一条通往硬盘的电路，这种在不同设备之间交互数据的通路就被我们称为总线。 总线也是有一定的 阅读全文

摘要： 转自：https://www.iteye.com/blog/aperise-2372350 1.hbase客户端使用 1.1 在maven工程中引入hbase客户端jar 1 <!-- hbase --> 2 <dependency> 3 <groupId>org.apache.hbase</gro 阅读全文

摘要： 情景 最近在看kafka幂等性的源码的时候，在思考一个问题，既然幂等性是通过producerId + Sequence Number来判断是否重复，那么应该在broker缓存中，有保存producerId 和 Sequence Number，那么如果长时间一直使用，是否会由于 producerId 阅读全文

摘要： 原文：https://cloud.tencent.com/developer/article/1430049 作者 | 柳年思水 整理 | 王知无 Apache Kafka 从 0.11.0 开始，支持了一个非常大的 feature，就是对事务性的支持，在 Kafka 中关于事务性，是有三种层面上的 阅读全文

摘要： 【版本介绍】 本次问题所使用的代码版本是spark 2.2.0 和 elasticsearch-spark-20_2.11 【情景介绍】 今天公司的小伙伴发现了一个问题，在spark 中，使用 elasticsearch-spark 读取es的数据，"" 这种空字符串的值，在spark中会被转成nu 阅读全文

摘要： 要理解LiveListenerBus，可以先看下面几个问题 如果我们要监听Spark执行任务过程中的Job、stage、task 等事件的开始结束，我们该如何做 我们只要实现一个实现SparkListenerInterface 接口的监听器Listerner 1 private[spark] tra 阅读全文

摘要： 本文还是按照提问式学习方式来一起学习AppStatusStore这个类 AppStatusStore的作用是什么？ AppStatusStores是用来存储Application的状态数据，Spark Web UI及REST API需要的数据都取自它。之前在写度量系统时 AppStatusStore 阅读全文

摘要： 前景：昨天被一则新闻刷屏 当看到这个消息的时候，公司也启动紧急响应，要求来检查目前生产中使用的log4j版本是否有这个问题，根据火线官方说明，但凡是版本在 2.x <= 2.15.0-rc1，都会有这个漏洞，一看到这个，我就知道基本全覆盖了，果然一看服务器上的组件，hadoop全家桶、elastic 阅读全文

摘要： 情景 在今年年末的时候，公司安排任务，让我临时搭建一个hadoop3.1.1版本的集群来测试一些功能，本以为是一件很轻松的任务，结果还是在半路翻车了 集群配置完成后，在启动dataNode的时候，大概不到2秒，就出错启动不起来，按照以往经验，二话不说直接看 dataNode的日志 打开一看，傻眼了， 阅读全文