moonlight.ml

摘要： 本文主要是讲解Spark在Windows环境是如何搭建的 一、JDK的安装 1、1 下载JDK 首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Orac 阅读全文

摘要： 0.环境： java 1.8 scala 2.11.8 maven 3.5.0 idea 2017 spark 2.2.0 1完成以下配置 java环境变量 scala环境变量 maven setting配置文件jar包存放路径 idea下载scala plugins语言插件 idea配置maven 阅读全文

摘要： 原文：https://blog.csdn.net/colorant/article/details/38681627 随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行 阅读全文

摘要： 原文：https://blog.csdn.net/hao_hl1314/article/details/53120918 Intellij IDEA Debug调试区工具的使用方法 快捷键F9 resume programe 恢复程序 Alt+F10 show execution point 显示执 阅读全文

摘要： 一、Scala编程详解： 第1讲-Spark的前世今生 第2讲-课程介绍、特色与价值 第3讲-Scala编程详解：基础语法 第4讲-Scala编程详解：条件控制与循环 第5讲-Scala编程详解：函数入门 第6讲-Scala编程详解：函数入门之默认参数和带名参数 第7讲-Scala编程详解：函数入门 阅读全文

摘要： https://www.jianshu.com/p/b8841a8925fb spark性能优化 1.诊断内存的消耗 2. 高性能序列化类库 3. 优化数据结构 4. 对多次使用的rdd进行持久化或者checkpoint 5. 使用序列化的持久化级别 6. java虚拟机垃圾回收调优 7. 提高并行 阅读全文

摘要： 原文：http://www.cnblogs.com/arachis/p/Spark_Shuffle.html spark.shuffle.file.buffer 默认值：32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大 阅读全文

摘要： 1.参考。 利用IDEA工具编译Spark源码(1.60~2.20) https://blog.csdn.net/He11o_Liu/article/details/78739699 Maven编译打包spark（2.1.0）源码及出现问题的解决方案（win7+Intellij IDEA） http 阅读全文

摘要： 集群启动步骤：先启动HDFS系统，在启动spark集群，最后提交jar到spark集群执行。 1.hadoop启动cd /home/***/hadoop-2.7.4/sbinstart-all.sh 3.spark启动cd /home/***/spark-2.2.0/sbinstart-all.sh 阅读全文

摘要： https://blog.csdn.net/zhufenglonglove/article/details/51604795 小结：在浏览器4040端口登录查看spark web UI。 阅读全文