red_and_black - 博客园

本地idea调试spark2.x程序

摘要： 1.构建使用idea 构建maven 项目选择org.scala tools.archetypes:scala archetype simple，然后一直点next,maven最好选中本地配置国内源的而不适用idea自生的。工程创建好后，点击Event Log 修改pox.xml文件(设置sca 阅读全文

posted @ 2017-10-27 15:40 red_and_black 阅读(1910) 评论(0) 推荐(0) 编辑

spark2.0新特性之DataSet

摘要： 1.Spark SQL，DataFrame,DataSet的错误类型检测时机 spark SQL：其类型检测与语法检测是在运行时检测的 DataFrame:在spark2.0以前的版本中，DataFrame是类型不安全的，其类型检查是在运行时才检查的，语法检查倒是在编译时检查的 DataSet:类型阅读全文

posted @ 2017-10-13 12:45 red_and_black 阅读(568) 评论(0) 推荐(0) 编辑

spark application调度机制（spreadOutApps，oneExecutorPerWorker 算法）

摘要： 1.要想明白spark application调度机制，需要回答一下几个问题： 1.谁来调度？ 2.为谁调度？ 3.调度什么？ 3.何时调度？ 4.调度算法前四个问题可以用如下一句话里来回答:每当集群资源发生变化时（包含master主备切换），active master 进程为所有已注册的并且没有阅读全文

posted @ 2017-09-13 16:06 red_and_black 阅读(645) 评论(0) 推荐(0) 编辑

scala中:: , +:, :+, :::, +++的区别

摘要：初学scala的人都会被Seq的各种操作符所迷惑。下面简单列举一下各个Seq操作符的区别。 4种操作符的区别和联系 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说阅读全文

posted @ 2017-09-05 10:50 red_and_black 阅读(4701) 评论(1) 推荐(3) 编辑

scala的泛型浅析

摘要： 1. scala泛型浅析 T:ClassTag的例子（根据输入动态定义）命令行代码： scala import scala.reflect.ClassTag import scala.reflect.ClassTag scala def mkArray "T: ClassTag" = Array 阅读全文

posted @ 2017-08-30 11:58 red_and_black 阅读(227) 评论(0) 推荐(0) 编辑

spark2.0的10个特性介绍

摘要： 1. Spark 2.0 ! 还记得我们的第七篇 Spark 博文里吗？里面我用三点来总结 spark dataframe 的好处：当时是主要介绍 spark 里的 dataframe，今天是想总结一下 spark 2.0 的一些重大更新，准备过段时间［等到 2.0.1 或者 2.1 出来了就］切阅读全文

posted @ 2017-04-10 17:53 red_and_black 阅读(2877) 评论(0) 推荐(0) 编辑

spark2.0 DataSet操作的一些问题记录

摘要：随着新版本的Spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。然而，在其中一个操作时却卡住了。主要是dataframe.map操作，这个之前在spark 1.X是可以运行的，然而在spark 2.0上却无法通过。。看了提醒的问题，阅读全文

posted @ 2017-04-10 17:10 red_and_black 阅读(349) 评论(0) 推荐(0) 编辑

scala中ClassOf、asInstenceOf、isInstanceOf三个预定义方法分析

摘要： classOf、isInstanceOf、asInstanceOf三个预定义方法分析 Scala的三个预定义(predefined)方法，我们经常用到；它们用来感觉很简单，但是里面还是隐藏了一些细节东西，不妨花点时间来分析分析。先上代码 PredefineTest.scala 使用scalac 阅读全文

posted @ 2017-04-06 14:28 red_and_black 阅读(2463) 评论(0) 推荐(2) 编辑

Java 多线程与并发编程专题

摘要：参考：Java多线程与并发编程专题阅读全文

posted @ 2017-04-06 14:02 red_and_black 阅读(176) 评论(0) 推荐(0) 编辑

java nio入门

摘要：在开始之前关于本教程新的输入/输出 (NIO) 库是在 JDK 1.4 中引入的。NIO 弥补了原来的 I/O 的不足，它在标准 Java 代码中提供了高速的、面向块的 I/O。通过定义包含数据的类，以及通过以块的形式处理这些数据，NIO 不用使用本机代码就可以利用低级优化，这是原来的 I/O 阅读全文

posted @ 2017-04-06 13:58 red_and_black 阅读(177) 评论(0) 推荐(0) 编辑

stay foolish,stay hungry.

导航

统计

公告