摘要: 在安装 Django 前,系统需要已经安装了Python的开发环境。接下来我们来具体看下不同系统下Django的安装。 Window 下安装 Django 如果你还未安装Python环境需要先下载Python安装包。 1、Python 下载地址:https://www.python.org/down 阅读全文
posted @ 2017-05-23 21:49 花心土豆 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 本章节我们将向大家介绍如何在本地搭建Python开发环境。Python可应用于多平台包括 Linux 和 Mac OS X。你可以通过终端窗口输入 "python" 命令来查看本地是否已经安装Python以及Python的安装版本。 本章节我们将向大家介绍如何在本地搭建Python开发环境。 Pyt 阅读全文
posted @ 2017-05-23 20:58 花心土豆 阅读(229) 评论(0) 推荐(0) 编辑
摘要: spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --depl 阅读全文
posted @ 2017-05-23 14:24 花心土豆 阅读(30556) 评论(0) 推荐(5) 编辑
摘要: Spark Streaming 实现思路与模块概述 [酷玩 Spark] Spark Streaming 源码解析系列 ,返回目录请 猛戳这里 「腾讯·广点通」技术团队荣誉出品 一、基于 Spark 做 Spark Streaming 的思路 Spark Streaming 与 Spark Core 阅读全文
posted @ 2017-05-12 14:31 花心土豆 阅读(466) 评论(0) 推荐(0) 编辑
摘要: 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentOS 5 CentOS 6 CentOS 阅读全文
posted @ 2017-05-09 15:32 花心土豆 阅读(208) 评论(0) 推荐(0) 编辑
摘要: 在创建taskScheduler的时候SparkContext.createTaskScheduler(this, master),进行了 new SparkDeploySchedulerBackend()的步骤,在SparkDeploySchedulerBackend的84行,执行了app运行使用 阅读全文
posted @ 2016-12-20 11:25 花心土豆 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 在任务启动时,sparksubmit已经通过反射的方式调用了用户提交任务的主类中的main方法,所以,本节以wordcount为例讲解在wordcount中主要由以下几步:创建SparkConf,设置名字创建SparkContent,书写程序程序逻辑,启动任务停止任务所以最重要的源码分析应该在new SparkContent()这个步骤里在281行定义了createSparkEnv()方法,用来创... 阅读全文
posted @ 2016-12-20 11:23 花心土豆 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 在脚本spark-submit中调用SparkSubmit的main方法在main方法中执行如下:获取提交参数,繁琐就打印通过提交的action匹配是什么行为如果是提交任务,执行submit(args)方法在submit(args)方法中执行如下:准备运行环境定义doRunMain()方法调用runmain()方法,执行用户提交主类的main()方法调用doRunMain()方法 阅读全文
posted @ 2016-12-20 11:22 花心土豆 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 在worker启动时,通过脚本start-slave.sh脚本中调用main()在main()中封装参数,调用startRpcEnvAndEndpoint()创建RpcEnv在startRpcEnvAndEndpoint()中创建RpcEnv和endpiont,并实例化Worker,执行Worker 阅读全文
posted @ 2016-12-20 11:21 花心土豆 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数,并调用startRpcEnvAndEndpoint()创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv(AkkaSystem),创建ma 阅读全文
posted @ 2016-12-20 11:20 花心土豆 阅读(262) 评论(0) 推荐(0) 编辑