02 2020 档案
摘要：1、可用性： 刺激源:淘宝用户 刺激:淘宝网服务器崩溃 制品:淘宝网的处理器和服务器 环境:正常的登录操作 响应:显示登录过程的进度条或登录超时提醒或网络环境异常 响应度量:系统服务器后台启用降级模式，并且在30分钟内进行快速修复 2、可修改性： 刺激源:系统开发人员 刺激:首页界面的修改优化 制品
阅读全文
摘要：1、共享变量之累加器 通常在向 Spark 传递函数时，比如使用map()函数或者用filter()传条件时，可以使用驱 动器程序中定义的变量，但是集群中运行的每个任务都会得到这些变量的一份新的副本， 更新这些副本的值也不会影响驱动器中的对应变量。 下面这段scala程序读取文件的同时统计了空白行的
阅读全文
摘要：在Spark中，一个应用（Application）由一个任务控制节点（Driver）和若干个作业（Job）构成，一个作业由多个阶段（Stage）构成，一个阶段由多个任务（Task）组成。当执行一个应用时，任务控制节点会向集群管理器（Cluster Manager）申请资源，启动Executor，并向
阅读全文
摘要：基础代码： 1 //创建一个List 2 val lst0 = List(1,7,9,8,0,3,5,4,6,2) 3 //将lst0中每个元素乘以10后生成一个新的集合 4 val lst1 = lst0.map(_*10) 5 println(lst1) 6 7 //将lst0中的偶数取出来生成
阅读全文
摘要：今天往虚拟机上安装了Scala和spark，下面说一下安装的一些过程和遇到的一些问题。 首先，根据网上的Hadoop3.2+Scala2.12.1+Spark2.3.3环境搭建教程：https://www.jianshu.com/p/82ad3e15545a 了解基本安装流程，由于之前已经安装好了v
阅读全文
