摘要：
莫存顺逆，Java源码剖析，持续更新中 提纲挈领 "jdk基本库概述" 集合框架 "learn from collection framework design" "ArrayList源码分析" 并发工具集 IO 网络 反射 对象引用机制 对象序列化技术 JMX 安全 阅读全文
摘要：
如下，是 spark 相关系列的一些文章汇总，持续更新中...... Spark RPC spark 源码分析之五--Spark RPC剖析之创建NettyRpcEnv spark 源码分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析 spark 源码分析之七- 阅读全文
摘要：
世上的事，只要肯用心去学，没有一件是太晚的。请你一定不要停下来，成为你想成为的人。 前言 在 "learn from collection framework design" 中提到，collection framework分为两部分，分别为 和`Map Collection List Set Qu 阅读全文
摘要：
最难忍受的痛苦，也许是想干一件事情而又不去干。——罗曼·罗兰 前言 本篇文章算是拾人牙慧吧，偶尔谷歌到一个能很好把collection framework design讲好的文档，一是为了总结提升，也是collection framework 的开篇，从设计入手，更透彻的理解这个framework的 阅读全文
摘要：
看脚下，不断行，莫存顺逆。 剖析java的哪些源码 目前主要是java基本库的一些源码的分析，jvm工具的使用等等，后续可能还会结合hotspot源码来分析jvm原理，当然，这是一个比较高级的主题，根据时间和进度来定。 jdk版本 目前选定的是生产环境下使用最多的jdk1.8,具体版本号为 jdk1 阅读全文
摘要：
当你感到悲哀痛苦时，最好是去学些什么东西。学习会使你永远立于不败之地。 使用场景 在rdd的每一个分区上，执行迭代操作，在每一次的迭代操作中，需要先访问redis缓存，并获取key对应的value，若value存在则对value进行反序列化操作，否则从db里查询并序列化存放到redis缓存中。 伪代 阅读全文
摘要：
信念，你拿它没办法，但是没有它你什么也做不成。—— 撒姆尔巴特勒 前言 对于spark streaming而言，大的batch任务会导致后续batch任务积压，对于structured streaming任务影响如何，本篇文章主要来做一下简单的说明。 本篇文章的全称为设置trigger后，运行时间长 阅读全文
摘要：
只有满怀自信的人，能在任何地方都怀有自信，沉浸在生活中，并认识自己的意志。 前言 最近公司有一个生产的小集群，专门用于运行spark作业。但是偶尔会因为nn或dn压力过大而导致作业checkpoint操作失败进而导致spark 流任务失败。本篇记录从应用层面对spark作业进行优化，进而达到优化集群 阅读全文
摘要：
除了人格以外，人最大的损失，莫过于失掉自信心了。 前言 strace可以说是神器一般的存在了，对于研究代码调用，内核级调用、系统级调用有非常重要的作用。打算了一周了，只有原文，一直没有梳理，拖延症犯了，今天加班把这个神器的官方翻译梳理一下。 linux 7 的 man的官方文档链接如下：http:/ 阅读全文
摘要：
以豁达和宽容的心态对待学习和生活中遇到的不如意的事。 需求 通过RPC远程调用服务端函数来实现加法操作 maven 依赖 依赖如下： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifa 阅读全文
该文被密码保护。 阅读全文