摘要：
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的conf/spark-env.sh脚本设置 阅读全文
摘要：
转载自：http://www.aboutyun.com/thread-19652-1-1.html 问题导读1.spark共享变量的作用是什么？2.什么情况下使用共享变量？3.如何在程序中使用共享变量？4.广播变量源码包含哪些内容？spark编程中，我们经常会遇到使用全局变量，来累加或则使用全局变量 阅读全文
摘要：
转载自：http://blog.csdn.net/erfucun/article/details/52312682 本博文主要内容包括： 技术实现foreachRDD与foreachPartition解析 foreachRDD与foreachPartition实现实战 一：技术实现foreach解析 阅读全文
摘要：
转载自：http://blog.csdn.net/haiross/article/details/41944493 oracle查看允许的最大连接数和当前连接数等信息 两个参数间的关系：sessions=1.1*processes+5 目前总结的语句，在查看数据的连接情况很有用，写完程序一边测试代码 阅读全文
摘要：
在server.properties文件中添加配置：delete.topic.enable=true 创建kafka主题： kafka-topics.sh --create --zookeeper 192.168.168.200:2181--replication-factor 1--partiti 阅读全文
摘要：
转载自：http://blog.csdn.net/jiangpeng59/article/details/53318761 foreachRDD通常用来把SparkStream运行得到的结果保存到外部系统比如HDFS、Mysql、Redis等等。了解下面的知识可以帮助我们避免很多误区 误区1：实例化 阅读全文
摘要：
转载自：https://www.2cto.com/kf/201604/497083.html 1、概述 在高层的角度上看，每一个Spark应用都有一个驱动程序（driver program）。驱动程序就是运行用户的main主程序并在集群上执行各种并行操作的程序。Spark中的一个主要的抽象概念就是弹 阅读全文