Spark基础实验二-Scala 编程初级实践

一、实验目的

1.掌握 Scala 语言的基本语法、数据结构和控制结构；

2.掌握面向对象编程的基础知识，能够编写自定义类和特质；

3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本

层次结构，熟练使用常用的容器类进行数据；

4.熟练掌握 Scala 的 REPL 运行模式和编译运行方法。

二、实验平台

已经配置完成的 Scala 开发环境。Scala 版本为 2.11.8.

三、实验内容和要求

1. 计算级数

请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q

为止，其中 q 为大于 0 的整数，其值通过键盘输入。

 

例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 将 源 文 件 保 存 为

exercise2-1.scala，在REPL模式下测试运行，测试样例：q=1时，Sn=2；q=30时，Sn=30.891459；

q=50 时，Sn=50.416695。

import io.StdIn._
object lab2{
def main(args:Array[String]){
    var Sn:Float = 0
    var n:Float = 1
    println("Input a number for q:")
    var q = readInt()
    while(Sn < q)
    {
        Sn += (n+1)/n
        n += 1
    }
println(s"Sn = $Sn")
}
}

 

 

2. 模拟图形绘制

对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特

质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点，

其混入了 Drawable 特质，并包含一个 shift 方法，用于移动点。所有图形实体的抽象类为

Shape，其构造函数包括一个 Point 类型，表示图形的具体位置（具体意义对不同的具体图

形不一样）。Shape 类有一个具体方法 moveTo 和一个抽象方法 zoom，其中 moveTo 将图形从

当前位置移动到新的位置， 各种具体图形的 moveTo 可能会有不一样的地方。zoom 方法实

现对图形的放缩，接受一个浮点型的放缩倍数参数，不同具体图形放缩实现不一样。继承

Shape 类的具体图形类型包括直线类 Line 和圆类 Circle。Line 类的第一个参数表示其位置，

第二个参数表示另一个端点，Line 放缩的时候，其中点位置不变，长度按倍数放缩（注意，

缩放时，其两个端点信息也改变了），另外，Line 的 move 行为影响了另一个端点，需要对

move 方法进行重载。Circle 类第一个参数表示其圆心，也是其位置，另一个参数表示其半

径，Circle 缩放的时候，位置参数不变，半径按倍数缩放。另外直线类 Line 和圆类 Circle

都混入了 Drawable 特质，要求对 draw 进行重载实现，其中类 Line 的 draw 输出的信息样式

为“Line:第一个端点的坐标--第二个端点的坐标)”，类 Circle 的 draw 输出的信息样式为

“Circle center:圆心坐标,R=半径”。如下的代码已经给出了 Drawable 和 Point 的定义，

同时也给出了程序入口 main 函数的实现，请完成 Shape 类、Line 类和 Circle 类的定义。

case class Point(var x:Double,var y:Double) extends Drawable{
 def shift(deltaX:Double,deltaY:Double){x+=deltaX;y+=deltaY}
}
trait Drawable{
def draw(){println(this.toString)}
}
// 请完成 Shape 类、Line 类和 Circle 类的定义。
object MyDraw{
 def main(args: Array[String]) {
 val p=new Point(10,30) 
p.draw;
val line1 = new Line(Point(0,0),Point(20,20))
line1.draw
line1.moveTo(Point(5,5)) //移动到一个新的点
line1.draw
line1.zoom(2) //放大两倍
line1.draw
val cir= new Circle(Point(10,10),5)
cir.draw
cir.moveTo(Point(30,20))
cir.draw
cir.zoom(0.5)
cir.draw
 }
}

编译运行程序，期望的输出结果如下：

Point(10.0,30.0)
Line:(0.0,0.0)--(20.0,20.0)
Line:(5.0,5.0)--(25.0,25.0)
Line:(-5.0,-5.0)--(35.0,35.0)
Circle center:(10.0,10.0),R=5.0
Circle center:(30.0,20.0),R=5.0
Circle center:(30.0,20.0),R=2.5

object shiyan2 {
  def main(args: Array[String]): Unit = {

    val p=new Point(10,30)
    p.draw();
    val line1 = new Line(Point(0,0),Point(20,20))
    line1.draw()
    line1.moveTo(Point(5,5)) //移动到一个新的点
    line1.draw()
    line1.zoom(2) //放大两倍
    line1.draw()
    val cir= new Circle(Point(10,10),5)
    cir.draw()
    cir.moveTo(Point(30,20))
    cir.draw()
    cir.zoom(0.5)
    cir.draw()
  }
}

  case class Point(var x:Double,var y:Double) extends Drawable{
    def shift(deltaX:Double,deltaY:Double){x+=deltaX;y+=deltaY}
  }
  trait Drawable{
    def draw(){println(this.toString)}
  }

  abstract class Shape(var location:Point){//location是Shape的一个可变字段
    def moveTo(newLocation:Point){ //默认实现，只是修改位置
      location = newLocation
    }
    def zoom(scale:Double)
  }

  class Line(beginPoint:Point,var endPoint:Point) extends Shape(beginPoint) with Drawable{
    override def draw(){
      println(s"Line:(${location.x},${location.y})--(${endPoint.x},${endPoint.y})")} //按指定格式重载click
    override def moveTo(newLocation:Point){
      endPoint.shift(newLocation.x - location.x,newLocation.y - location.y) //直线移动时，先移动另外一个端点
      location = newLocation //移动位置
    }
    override def zoom(scale:Double){
      val midPoint = Point((endPoint.x + location.x)/2,(endPoint.y + location.y)/2) //求出中点，并按中点进行缩放
      location.x = midPoint.x + scale * (location.x - midPoint.x)
      location.y = midPoint.y + scale * (location.y -midPoint.y)
      endPoint.x = midPoint.x + scale * (endPoint.x - midPoint.x)
      endPoint.y = midPoint.y + scale * (endPoint.y -midPoint.y)
    }
  }
  class Circle(center:Point,var radius:Double) extends Shape(center) with Drawable{
    override def draw(){//按指定格式重载click
      println(s"Circle center:(${location.x},${location.y}),R=$radius")}
    override def zoom(scale:Double){
      radius = radius*scale //对圆的缩放只用修改半径
    }
  }

 

 

3. 统计学生成绩

学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名

1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开

Id gender Math English Physics 
301610 male 80 64 78 
301611 female 65 87 58 
...

给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函

数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；另外还需按男女同学分开，

分别统计各门课程的平均成绩，最低成绩，和最高成绩。

测试样例 1 如下：

Id gender Math English Physics 
301610 male 80 64 78 
301611 female 65 87 58 
301612 female 44 71 77 
301613 female 66 71 91 
301614 female 70 71 100 
301615 male 72 77 72 
301616 female 73 81 75 
301617 female 69 77 75 
301618 male 73 61 65 
301619 male 74 69 68 
301620 male 76 62 76 
301621 male 73 69 91 
301622 male 55 69 61 
301623 male 50 58 75 
301624 female 63 83 93 
301625 male 72 54 100 
301626 male 76 66 73 
301627 male 82 87 79 
301628 female 62 80 54 
301629 male 89 77 72

样例 1 的统计结果输出为：

course average min max
Math: 69.20 44.00 89.00
English: 71.70 54.00 87.00
Physics: 76.65 54.00 100.00
course average min max (males)
Math: 72.67 50.00 89.00
English: 67.75 54.00 87.00
Physics: 75.83 61.00 100.00
course average min max (females)
Math: 64.00 44.00 73.00
English: 77.63 71.00 87.00
Physics: 77.88 54.00 100.00

测试样例 2

Id gender Math English Physics Science
301610 male 72 39 74 93 
301611 male 75 85 93 26 
301612 female 85 79 91 57 
301613 female 63 89 61 62 
301614 male 72 63 58 64 
301615 male 99 82 70 31 
301616 female 100 81 63 72 
301617 male 74 100 81 59 
301618 female 68 72 63 100 
301619 male 63 39 59 87 
301620 female 84 88 48 48 
301621 male 71 88 92 46 
301622 male 82 49 66 78 
301623 male 63 80 83 88 
301624 female 86 80 56 69 
301625 male 76 69 86 49 
301626 male 91 59 93 51 
301627 female 92 76 79 100 
301628 male 79 89 78 57 
301629 male 85 74 78 80

样例 2 的统计结果为：

course average min max
Math: 79.00 63.00 100.00
English: 74.05 39.00 100.00
Physics: 73.60 48.00 93.00
Science: 65.85 26.00 100.00
course average min max
Math: 77.08 63.00 99.00
English: 70.46 39.00 100.00
Physics: 77.77 58.00 93.00
Science: 62.23 26.00 93.00
course average min max
Math: 82.57 63.00 100.00
English: 80.71 72.00 89.00
Physics: 65.86 48.00 91.00
Science: 72.57 48.00 100.00

import scala.collection.mutable.ArrayBuffer

object shiyan3 {
  def main(args: Array[String]): Unit = {
    var students:ArrayBuffer[Student] = new ArrayBuffer[Student]()
    students.append(new Student(301610, "male", 80, 64, 78))
    students.append(new Student(301611, "female", 65, 87, 58))
    students.append(new Student(301612, "female", 44, 71, 77))
    students.append(new Student(301613, "female", 66, 71, 91))
    students.append(new Student(301614, "female", 70, 71, 100))
    students.append(new Student(301615, "male", 72, 77, 72))
    students.append(new Student(301616, "female", 73, 81, 75))
    students.append(new Student(301617, "female", 69, 77, 75))
    students.append(new Student(301618, "male", 73, 61, 65))
    students.append(new Student(301619, "male", 74, 69, 68))
    students.append(new Student(301620, "male", 76, 62, 76))
    students.append(new Student(301621, "male", 73, 69, 91))
    students.append(new Student(301622, "male", 55, 69, 61))
    students.append(new Student(301623, "male", 50, 58, 75))
    students.append(new Student(301624, "female", 63, 83, 93))
    students.append(new Student(301625, "male", 72, 54, 100))
    students.append(new Student(301626, "male", 76, 66, 73))
    students.append(new Student(301627, "male", 82, 87, 79))
    students.append(new Student(301628, "female", 62, 80, 54))
    students.append(new Student(301629, "male", 89, 77, 72))

    getData(students)
    getDataMale(students)
    getDataFeMale(students)
  }
  def getData(value: ArrayBuffer[Student]): Unit ={
    var Mathaverage:Double=0
    var MathSum:Double = 0
    var MathMin:Double = value(0).Math
    var MathMax:Double = 0

    var Englishaverage:Double=0
    var EnglishSum:Double = 0
    var EnglishMin:Double = value(0).English
    var EnglishMax:Double = 0

    var Physicsaverage:Double=0
    var PhysicsSum:Double = 0
    var PhysicsMin:Double = value(0).Physics
    var PhysicsMax:Double = 0

    var number = value.length
    for (i <- 0 until value.length){
      //三科总数
      MathSum = value(i).Math+MathSum
      EnglishSum = value(i).English+EnglishSum
      PhysicsSum = value(i).Physics+PhysicsSum
      //最大和最小
      if(value(i).Math>MathMax){
        MathMax=value(i).Math
      }
      if(value(i).English>EnglishMax){
        EnglishMax=value(i).English
      }
      if(value(i).Physics>PhysicsMax){
        PhysicsMax=value(i).Physics
      }
      if(value(i).Math<MathMin){
        MathMin=value(i).Math
      }
      if(value(i).English<EnglishMin){
        EnglishMin=value(i).English
      }
      if(value(i).Physics<PhysicsMin){
        PhysicsMin=value(i).Physics
      }
    }
    //平均值
    Mathaverage=MathSum/number
    Englishaverage=EnglishSum/number
    Physicsaverage=PhysicsSum/number
    println("course  \t\taverage\t\t min\t\t max")
    println("Math:   \t\t"+Mathaverage+"\t\t"+MathMin+"\t\t"+MathMax)
    println("English:\t\t"+Englishaverage+"\t\t"+EnglishMin+"\t\t"+EnglishMax)
    println("Physics:\t\t"+Physicsaverage+"\t\t"+PhysicsMin+"\t\t"+PhysicsMax)
  }

  def getDataMale(value: ArrayBuffer[Student]): Unit = {
    var Mathaverage: Double = 0
    var MathSum: Double = 0
    var MathMin: Double = value(0).Math
    var MathMax: Double = 0

    var Englishaverage: Double = 0
    var EnglishSum: Double = 0
    var EnglishMin: Double = value(0).English
    var EnglishMax: Double = 0

    var Physicsaverage: Double = 0
    var PhysicsSum: Double = 0
    var PhysicsMin: Double = value(0).Physics
    var PhysicsMax: Double = 0

    var number = 0;

    for (i <- 0 until value.length) {
      if (value(i).gender.equals("male")) {
        number = number + 1
        //三科总数
        MathSum = value(i).Math + MathSum
        EnglishSum = value(i).English + EnglishSum
        PhysicsSum = value(i).Physics + PhysicsSum
        //最大和最小
        if (value(i).Math > MathMax) {
          MathMax = value(i).Math
        }
        if (value(i).English > EnglishMax) {
          EnglishMax = value(i).English
        }
        if (value(i).Physics > PhysicsMax) {
          PhysicsMax = value(i).Physics
        }
        if (value(i).Math < MathMin) {
          MathMin = value(i).Math
        }
        if (value(i).English < EnglishMin) {
          EnglishMin = value(i).English
        }
        if (value(i).Physics < PhysicsMin) {
          PhysicsMin = value(i).Physics
        }
      }

    }
    //平均值
    Mathaverage=MathSum/number
    Englishaverage=EnglishSum/number
    Physicsaverage=PhysicsSum/number
    println("course  \t\taverage\t\t min\t\t max (Male)")
    Mathaverage=Mathaverage.toInt
    Englishaverage=Englishaverage.toInt
    Physicsaverage=Physicsaverage.toInt


    println("Math:   \t\t"+Mathaverage+"\t\t"+MathMin+"\t\t"+MathMax)
    println("English:\t\t"+Englishaverage+"\t\t"+EnglishMin+"\t\t"+EnglishMax)
    println("Physics:\t\t"+Physicsaverage+"\t\t"+PhysicsMin+"\t\t"+PhysicsMax)
  }

  def getDataFeMale(value: ArrayBuffer[Student]): Unit ={
    var Mathaverage:Double=0
    var MathSum:Double = 0
    var MathMin:Double = value(1).Math
    var MathMax:Double = 0

    var Englishaverage:Double=0
    var EnglishSum:Double = 0
    var EnglishMin:Double = value(1).English;
    var EnglishMax:Double = 0

    var Physicsaverage:Double=0
    var PhysicsSum:Double = 0
    var PhysicsMin:Double = value(1).Physics
    var PhysicsMax:Double = 0

    var number = 0

    for (i <- 0 until value.length){
      if(value(i).gender.equals("female")){
        number=number+1
        //三科总数
        MathSum = value(i).Math+MathSum
        EnglishSum = value(i).English+EnglishSum
        PhysicsSum = value(i).Physics+PhysicsSum
        //最大和最小
        if(value(i).Math>MathMax){
          MathMax=value(i).Math
        }
        if(value(i).English>EnglishMax){
          EnglishMax=value(i).English
        }
        if(value(i).Physics>PhysicsMax){
          PhysicsMax=value(i).Physics
        }
        if(value(i).Math<MathMin){
          MathMin=value(i).Math
        }
        if(value(i).English<EnglishMin){
          EnglishMin=value(i).English
        }
        if(value(i).Physics<PhysicsMin){
          PhysicsMin=value(i).Physics
        }
      }
    }
    //平均值
    Mathaverage=MathSum/number
    Englishaverage=EnglishSum/number
    Physicsaverage=PhysicsSum/number
    println("course  \t\taverage\t\t min\t\t max (FeMale)")
    Mathaverage=Mathaverage.toInt
    Englishaverage=Englishaverage.toInt
    Physicsaverage=Physicsaverage.toInt
    println("Math:   \t\t"+Mathaverage+"\t\t"+MathMin+"\t\t"+MathMax)
    println("English:\t\t"+Englishaverage+"\t\t"+EnglishMin+"\t\t"+EnglishMax)
    println("Physics:\t\t"+Physicsaverage+"\t\t"+PhysicsMin+"\t\t"+PhysicsMax)
  }
}
case class Student(id1:Int,gender1:String,Math1:Double,English1:Double,Physics1:Double){
  var id:Int = id1
  var gender:String = gender1
  var Math:Double = Math1
  var English:Double = English1
  var Physics:Double = Physics1

  override def toString = s"Student($id, $gender, $Math, $English, $Physics)"
}

 

 

 

四、实验报告

《Spark 编程基础》实验报告

出现的问题：刚开始在进行打包编译的过程中显示权限不够，不能打包，并且出现以下错误

 

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

使用管理员权限增加操作功能，并利用scala进行打包