该文被密码保护。 阅读全文
摘要：
0）摘要 本章博客是对Spark Streaming2.20文档（http://spark.apache.org/docs/2.2.0/streaming-programming-guide.html）的一些梳理，加上代码实现了一些算子，最后写了Spark Streaming如何整合SparkSQL 阅读全文
摘要：
1 摘要 本章博客主要探讨了，Scala语言中的下划线的用法。作为初学者，这个用法很隐晦。但在Scala中这种写法会让代码变得简介高效且容易修改，所以好好学习一下是非常有必要的。很好的参考材料 （https://stackoverflow.com/questions/8000903/what-are 阅读全文
摘要：
0 摘要 对Scala隐式样转换的学习 1 隐式转换概述 适应场景，需要动态的增强一个类，现有的功能不能满足要求， 2 类比Java Java：动态代理，加强现有的类的功能 3 增强现有的类型 就是说一个类调用另一个类中它自己没有定义的方法时，隐式转换可以自动将该类转换为另一类从而扩展自己的功能，然 阅读全文
摘要：
0 摘要 总结一些vim常用的命令，工作上一直要用vim编辑器修改配置文件，慢慢的爱上这款编辑器。 1 命令说明 如何快速的移动屏幕的行首和行尾（大写）：H,L 翻页向前ctrl+f，翻页向后ctrl+b 插入 i正规的插入，a光标位置插入 显示行号 set nu（set number） 跳到某一行 阅读全文
摘要：
基于Centos7编译Spark 0 摘要 主要探究了如何对spark源码进行编译，以及普及了一下Maven中的-P,-D的意义以及我在编译过程中遇到的两个坑。为什么需要编译spark源码呢？官网已经提供了预编译的版本了啊，但是如果你对spark源码进行了修改或者spark提供了相对应的hadoop 阅读全文
摘要：
0 摘要 JUC包大大提高了Java程序的并发性能，AQS作为JUC的核心，是Java并发编程学习的重点。本文介绍了AQS这个类，以及AQS中的同步组件，如CountDownLatch,Semaphore 等组件的讲解和简单示例。 1 AbstractQueuedSynchronizer--AQS 阅读全文
摘要：
0 摘要 介绍了线程池的基本概念和基本用法，重点讲解了ThreadPoolExecutor这个类，以及里面7个参数的配置建议。 1 为什么不new Thread 每次new新建线程的时候，性能差 线程缺乏统一的管理 缺少更多的功能，如线程的调度，如定期执行、线程中断等功能 Thread里的方法在实际 阅读全文
摘要：
0 摘要 主要介绍了并发和高并发的一些概念。作者被老师当面问什么是并发？顿时语塞，场面极度尴尬。。。。 1 并发 概念：指的是同时拥有两个或者多个线程，如果程序在单核处理器上运行，那么多个线程将交替的换入或者换出内存，这些线程是同时“存在”的，每个线程都处于执行中的某个状态。如果运行在多核处理器上（ 阅读全文
摘要：
0.摘要 主要讨论了在多线程并发环境下，安全发布的几种方式（多种单例模式演示 ）。 1.基本概念 发布对象：使对象能够被当前范围之外的代码所看见。比如通过类的非私有方法返回对象的引用。 对象逸出：一种错误的发布。当一个对象还没有构造完成时，就被其他线程所看见 不正确的发布对象会导致两种错误： 1）发 阅读全文