stay foolish,stay hungry.

导航

2017年4月5日 #

Spark 源码和应用开发环境的构建

摘要: 引言 Spark 现在无疑是大数据领域最热门的技术之一,读者很容易搜索到介绍如何应用 Spark 技术的文章,但是作为开发人员,在了解了应用的概念之后,更习惯的是打开开发环境,开发一些应用来更深入的学习 spark 知识,在遇到问题的时候,也希望能够深入调试 Spark 源代码来解决问题。但是由于 阅读全文

posted @ 2017-04-05 09:58 red_and_black 阅读(178) 评论(0) 推荐(0) 编辑

2017年4月1日 #

spark内存管理详解

摘要: Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spar 阅读全文

posted @ 2017-04-01 17:02 red_and_black 阅读(196) 评论(0) 推荐(0) 编辑

深入探讨java的类加载器

摘要: 类加载器是 Java 语言的一个创新,也是 Java 语言流行的重要原因之一。它使得 Java 类可以被动态加载到 Java 虚拟机中并执行。类加载器从 JDK 1.0 就出现了,最初是为了满足 Java Applet 的需要而开发出来的。Java Applet 需要从远程下载 Java 类文件到浏 阅读全文

posted @ 2017-04-01 10:32 red_and_black 阅读(159) 评论(0) 推荐(0) 编辑

2017年3月31日 #

Java 理论与实践: 正确使用 Volatile 变量

摘要: Java 语言中的 volatile 变量可以被看作是一种 “程度较轻的 synchronized”;与 synchronized 块相比,volatile 变量所需的编码较少,并且运行时开销也较少,但是它所能实现的功能也仅是 synchronized 的一部分。本文介绍了几种有效使用 volati 阅读全文

posted @ 2017-03-31 15:49 red_and_black 阅读(165) 评论(0) 推荐(0) 编辑

探索 ConcurrentHashMap 高并发性的实现机制

摘要: 简介 ConcurrentHashMap 是 util.concurrent 包的重要成员。本文将结合 Java 内存模型,分析 JDK 源代码,探索 ConcurrentHashMap 高并发的具体实现机制。 由于 ConcurrentHashMap 的源代码实现依赖于 Java 内存模型,所以阅 阅读全文

posted @ 2017-03-31 15:36 red_and_black 阅读(169) 评论(0) 推荐(0) 编辑

java中volatile关键字的含义

摘要: 在java线程并发处理中,有一个关键字volatile的使用目前存在很大的混淆,以为使用这个关键字,在进行多线程并发处理的时候就可以万事大吉。 Java语言是支持多线程的,为了解决线程并发的问题,在语言内部引入了 同步块 和 volatile 关键字机制。 synchronized 同步块大家都比较 阅读全文

posted @ 2017-03-31 11:51 red_and_black 阅读(152) 评论(0) 推荐(0) 编辑

2017年3月18日 #

scala 面向对象之 继承

摘要: scala 面向对象之 继承 scala 1.extends Scala中,让子类继承父类,与Java一样,也是使用extends关键字 子类可以覆盖父类的field和method;但是如果父类用final修饰,则该类是无法被继承的,field和method用final修饰,field和method 阅读全文

posted @ 2017-03-18 11:59 red_and_black 阅读(2711) 评论(0) 推荐(0) 编辑

scala 基本语法

摘要: scala 基本语法 scala 1.Scala与Java的关系 2.Scala解释器的使用 3.为什么使用常量而非变量 4.数据类型与操作符 5.scala中无i++,i-- 6.函数调用和apply函数 阅读全文

posted @ 2017-03-18 11:57 red_and_black 阅读(1623) 评论(0) 推荐(0) 编辑

2017年1月9日 #

HBase架构深度解析

摘要: 原文出处: DLevin(@雪地脚印_) 前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了 阅读全文

posted @ 2017-01-09 22:22 red_and_black 阅读(1866) 评论(0) 推荐(0) 编辑

2017年1月3日 #

hadoop 之Hdfs架构原理及其特性

只有注册用户登录后才能阅读该文。 阅读全文

posted @ 2017-01-03 21:57 red_and_black 阅读(9) 评论(0) 推荐(0) 编辑