摘要:
创建工程 设置虚拟机Python解释器环境 注意:解释器应该选择:/home/hadoop/anaconda3/bin/python3.7,这样依赖的库都有了。 创建一个python文件,取名为WordCount 开发WordCount程序 from pyspark import SparkConf 阅读全文
摘要:
pyspark h 查看用法 pyspark h Usage: pyspark [options] 常见的[options] 如下表: 输入pyspark h 查看各参数的定义 查看sc变量 不指定 master时 pyspark (查看sc变量) sc 指定 master时 pyspark mas 阅读全文
摘要:
spark submit h 查看用法 spark submit h Usage: spark submit [options] [app arguments] 常见的[options] 如下表: “ master”参数解释如下表: 蒙特卡罗(Monte Carlo)方法计算圆周率 正方形内部有一个 阅读全文
摘要:
搭建Spark的单独(Standalone)部署模式 Standalone单独部署(伪分布或全分布),不需要有依赖资源管理器。主要学习单独(Standalone)部署中的 伪分布模式的搭建。 环境 个人笔记本安装。 内存:至少4G 硬盘:至少空余40G 操作系统: 64位 Windows系统 VMw 阅读全文
摘要:
过滤器 函数虽然能够在模板中执行,但是不能够传递参数,即不能使用圆括号的形式来传递参数。所以便有了过滤器。其实,这些过滤器就是函数。 滤器使用的是|来使用。比如使用add过滤器,那么示例代码如下: {{ value|add:"2" }} 常用过滤器 add过滤器 templates模板下创建add. 阅读全文
摘要:
个人计算机架构与相关设备组件 一般消费者常说的计算机通常指的就是x86的个人计算机架构,因此我们来了解一下这个架构的各个组件 早期的芯片组通常分为两个网桥来控制各组件的沟通,分别是:南桥,北桥 南桥 负责连接速度较慢的装置接口, 包括硬盘、USB、网络卡等等。 北桥 负责链接速度较快的 CPU、主存 阅读全文
摘要:
计算机:辅助人脑的好工具 所谓的计算机就是一种计算器,而计算器其实是:接受用户输入指令与数据,经由中央处理器的数学与逻辑单元运算处理后,以产生或储存成有用的信息。因此,只要有输入设备 (不管是键盘还是触摸屏) 及输出设备 (例如计算机屏幕或直接由打印机打印出来),让你可以输入数据使该机器产生信息的, 阅读全文
摘要:
Django URL视图 阅读全文
摘要:
Django 渲染模板、路径配置、变量使用。 阅读全文