该文被密码保护。 阅读全文
摘要:
0)摘要 本章博客是对Spark Streaming2.20文档(http://spark.apache.org/docs/2.2.0/streaming-programming-guide.html)的一些梳理,加上代码实现了一些算子,最后写了Spark Streaming如何整合SparkSQL 阅读全文
摘要:
1 摘要 本章博客主要探讨了,Scala语言中的下划线的用法。作为初学者,这个用法很隐晦。但在Scala中这种写法会让代码变得简介高效且容易修改,所以好好学习一下是非常有必要的。很好的参考材料 (https://stackoverflow.com/questions/8000903/what-are 阅读全文
摘要:
0 摘要 对Scala隐式样转换的学习 1 隐式转换概述 适应场景,需要动态的增强一个类,现有的功能不能满足要求, 2 类比Java Java:动态代理,加强现有的类的功能 3 增强现有的类型 就是说一个类调用另一个类中它自己没有定义的方法时,隐式转换可以自动将该类转换为另一类从而扩展自己的功能,然 阅读全文
摘要:
0 摘要 总结一些vim常用的命令,工作上一直要用vim编辑器修改配置文件,慢慢的爱上这款编辑器。 1 命令说明 如何快速的移动屏幕的行首和行尾(大写):H,L 翻页向前ctrl+f,翻页向后ctrl+b 插入 i正规的插入,a光标位置插入 显示行号 set nu(set number) 跳到某一行 阅读全文
摘要:
基于Centos7编译Spark 0 摘要 主要探究了如何对spark源码进行编译,以及普及了一下Maven中的-P,-D的意义以及我在编译过程中遇到的两个坑。为什么需要编译spark源码呢?官网已经提供了预编译的版本了啊,但是如果你对spark源码进行了修改或者spark提供了相对应的hadoop 阅读全文
摘要:
0 摘要 JUC包大大提高了Java程序的并发性能,AQS作为JUC的核心,是Java并发编程学习的重点。本文介绍了AQS这个类,以及AQS中的同步组件,如CountDownLatch,Semaphore 等组件的讲解和简单示例。 1 AbstractQueuedSynchronizer--AQS 阅读全文
摘要:
0 摘要 介绍了线程池的基本概念和基本用法,重点讲解了ThreadPoolExecutor这个类,以及里面7个参数的配置建议。 1 为什么不new Thread 每次new新建线程的时候,性能差 线程缺乏统一的管理 缺少更多的功能,如线程的调度,如定期执行、线程中断等功能 Thread里的方法在实际 阅读全文
摘要:
0 摘要 主要介绍了并发和高并发的一些概念。作者被老师当面问什么是并发?顿时语塞,场面极度尴尬。。。。 1 并发 概念:指的是同时拥有两个或者多个线程,如果程序在单核处理器上运行,那么多个线程将交替的换入或者换出内存,这些线程是同时“存在”的,每个线程都处于执行中的某个状态。如果运行在多核处理器上( 阅读全文
摘要:
0.摘要 主要讨论了在多线程并发环境下,安全发布的几种方式(多种单例模式演示 )。 1.基本概念 发布对象:使对象能够被当前范围之外的代码所看见。比如通过类的非私有方法返回对象的引用。 对象逸出:一种错误的发布。当一个对象还没有构造完成时,就被其他线程所看见 不正确的发布对象会导致两种错误: 1)发 阅读全文