spark2.0的10个特性介绍
摘要：1. Spark 2.0 ! 还记得我们的第七篇 Spark 博文里吗？里面我用三点来总结 spark dataframe 的好处： 当时是主要介绍 spark 里的 dataframe，今天是想总结一下 spark 2.0 的一些重大更新，准备过段时间［等到 2.0.1 或者 2.1 出来了就］切
阅读全文
posted @ 2017-04-10 17:53
04 2017 档案
spark2.0 DataSet操作的一些问题记录
摘要：随着新版本的Spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。 然而，在其中一个操作时却卡住了。主要是dataframe.map操作，这个之前在spark 1.X是可以运行的，然而在spark 2.0上却无法通过。。 看了提醒的问题，
阅读全文
posted @ 2017-04-10 17:10
scala中ClassOf、asInstenceOf、isInstanceOf三个预定义方法分析
摘要：classOf、isInstanceOf、asInstanceOf三个预定义方法分析 Scala的三个预定义(predefined)方法，我们经常用到；它们用来感觉很简单， 但是里面还是隐藏了一些细节东西，不妨花点时间来分析分析。 先上代码 PredefineTest.scala 使用scalac
阅读全文
posted @ 2017-04-06 14:28
Java 多线程与并发编程专题
摘要：参考：Java多线程与并发编程专题
阅读全文
posted @ 2017-04-06 14:02
java nio入门
摘要：在开始之前 关于本教程 新的输入/输出 (NIO) 库是在 JDK 1.4 中引入的。NIO 弥补了原来的 I/O 的不足，它在标准 Java 代码中提供了高速的、面向块的 I/O。通过定义包含数据的类，以及通过以块的形式处理这些数据，NIO 不用使用本机代码就可以利用低级优化，这是原来的 I/O
阅读全文
posted @ 2017-04-06 13:58
Spark 源码和应用开发环境的构建
摘要：引言 Spark 现在无疑是大数据领域最热门的技术之一，读者很容易搜索到介绍如何应用 Spark 技术的文章，但是作为开发人员，在了解了应用的概念之后，更习惯的是打开开发环境，开发一些应用来更深入的学习 spark 知识，在遇到问题的时候，也希望能够深入调试 Spark 源代码来解决问题。但是由于
阅读全文
posted @ 2017-04-05 09:58
spark内存管理详解
摘要：Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spar
阅读全文
posted @ 2017-04-01 17:02
深入探讨java的类加载器
摘要：类加载器是 Java 语言的一个创新，也是 Java 语言流行的重要原因之一。它使得 Java 类可以被动态加载到 Java 虚拟机中并执行。类加载器从 JDK 1.0 就出现了，最初是为了满足 Java Applet 的需要而开发出来的。Java Applet 需要从远程下载 Java 类文件到浏
阅读全文
posted @ 2017-04-01 10:32
