03 2020 档案
摘要：#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name="OrderQZ" spark-shell --master yarn --deploy-mode client \ --queue $realtime_queu
阅读全文
摘要：一、Shuffle优化项 1、Shuffle优化配置 - spark.shuffle.file.buffer 默认值：32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲
阅读全文
摘要：1.线程安全问题的原因 因为 Java 中对静态变量的自增，自减并不是原子操作，要彻底理解，必须从字节码来进行分析 例如对于 i++ 而言（i 为静态变量），实际会产生如下的 JVM 字节码指令： 2.临界区 Critical Section 一个程序运行多个线程本身是没有问题的 问题出在多个线程访
阅读全文
摘要：一、五种状态 这是从 操作系统 层面来描述的 1.【初始状态】仅是在语言层面创建了线程对象，还未与操作系统线程关联 2.【可运行状态】（就绪状态）指该线程已经被创建（与操作系统线程关联），可以由 CPU 调度执行 3.【运行状态】指获取了 CPU 时间片运行中的状态，当 CPU 时间片用完，会从【运
阅读全文
摘要：一、栈与栈帧 Java Virtual Machine Stacks （Java 虚拟机栈） 我们都知道 JVM 中由堆、栈、方法区所组成，其中栈内存是给谁用的呢？其实就是线程，每个线程启动后，虚拟 机就会为其分配一块栈内存。 每个栈由多个栈帧（Frame）组成，对应着每次方法调用时所占用的内存 每
阅读全文
摘要：一查看进程线程的方法 1.windows任务管理器可以查看进程和线程数，也可以用来杀死进程tasklist 查看进程taskkill 杀死进程2.linuxps -fe 查看所有进程 ps -fe |grep java 查看java相关进程 ps -fT -p <PID> 查看某个进程（PID）的所
阅读全文
摘要：一.sparksql读取数据源的过程 1.spark目前支持读取jdbc，hive,text,orc等类型的数据，如果要想支持hbase或者其他数据源，就必须自定义 2.读取过程 （1）sparksql进行 session.read.text()或者 session.read .format("te
阅读全文
