摘要: pyspark h 查看用法 pyspark h Usage: pyspark [options] 常见的[options] 如下表: 输入pyspark h 查看各参数的定义 查看sc变量 不指定 master时 pyspark (查看sc变量) sc 指定 master时 pyspark mas 阅读全文
posted @ 2019-03-22 22:45 苏黎世的从前 阅读(7422) 评论(1) 推荐(1) 编辑
摘要: spark submit h 查看用法 spark submit h Usage: spark submit [options] [app arguments] 常见的[options] 如下表: “ master”参数解释如下表: 蒙特卡罗(Monte Carlo)方法计算圆周率 正方形内部有一个 阅读全文
posted @ 2019-03-22 21:57 苏黎世的从前 阅读(6861) 评论(0) 推荐(0) 编辑
摘要: 搭建Spark的单独(Standalone)部署模式 Standalone单独部署(伪分布或全分布),不需要有依赖资源管理器。主要学习单独(Standalone)部署中的 伪分布模式的搭建。 环境 个人笔记本安装。 内存:至少4G 硬盘:至少空余40G 操作系统: 64位 Windows系统 VMw 阅读全文
posted @ 2019-03-22 20:31 苏黎世的从前 阅读(745) 评论(0) 推荐(0) 编辑
摘要: 过滤器 函数虽然能够在模板中执行,但是不能够传递参数,即不能使用圆括号的形式来传递参数。所以便有了过滤器。其实,这些过滤器就是函数。 滤器使用的是|来使用。比如使用add过滤器,那么示例代码如下: {{ value|add:"2" }} 常用过滤器 add过滤器 templates模板下创建add. 阅读全文
posted @ 2019-03-22 10:59 苏黎世的从前 阅读(704) 评论(0) 推荐(0) 编辑
摘要: 个人计算机架构与相关设备组件 一般消费者常说的计算机通常指的就是x86的个人计算机架构,因此我们来了解一下这个架构的各个组件 早期的芯片组通常分为两个网桥来控制各组件的沟通,分别是:南桥,北桥 南桥 负责连接速度较慢的装置接口, 包括硬盘、USB、网络卡等等。 北桥 负责链接速度较快的 CPU、主存 阅读全文
posted @ 2019-03-22 09:25 苏黎世的从前 阅读(373) 评论(0) 推荐(0) 编辑