GatsbyNewton - 博客园

Scala包和引用

摘要： 1.包Scala包的命名方式有两种。一种和Java一样，通过把package子句放在文件顶端的方式，把整个文件的内容放进包里。如：package scala.actors.Actor 另一种方式可以在package子句之后把要放到包里的定义用花括号括起来。如：package bobsrockets{... 阅读全文

posted @ 2015-09-17 12:37 GatsbyNewton 阅读(2371) 评论(0) 推荐(0) 编辑

Python3中map函数的问题

摘要：在Python2中map函数会返回一个list列表，如代码：>>> def f(x, y): return (x, y) >>> l1 = [ 0, 1, 2, 3, 4, 5, 6 ] >>> l2 = [ 'Sun', 'Mon', 'Tue', 'Wed', 'Thu', 'Fri', '... 阅读全文

posted @ 2015-09-05 22:03 GatsbyNewton 阅读(7647) 评论(0) 推荐(1) 编辑

Scala类型检查与转换

摘要： Scala类型检查与转换isInstanceOf：检查某个对象是否属于某个给定的类。asInstanceOf：将引用转换为子类的引用。classOf：如果想测试p指向的是一个Employee对象但又不是其子类，可以用if(p.getClass == classOf[Employee])，classO... 阅读全文

posted @ 2015-09-03 11:14 GatsbyNewton 阅读(1161) 评论(0) 推荐(0) 编辑

Scala中()与{}

摘要：之前Scala中()与{}的替换实在让我摸不着头脑，今天特地整理下。阅读全文

posted @ 2015-08-21 19:52 GatsbyNewton 阅读(1266) 评论(0) 推荐(0) 编辑

Scala数组小结

摘要： 1.定长数组定长数组：指长度不可变的数组Array。第一种方式：先声明一个数组，后初始化该数组：scala> val array = new Array[Double](5)array: Array[Double] = Array(0.0, 0.0, 0.0, 0.0, 0.0)赋值方式：array... 阅读全文

posted @ 2015-08-16 17:05 GatsbyNewton 阅读(912) 评论(0) 推荐(1) 编辑

Scala偏函数与部分函数

摘要：函数1.部分函数部分应用函数（Partial Applied Function)是缺少部分参数的函数，是一个逻辑上概念。def sum(x: Int, y: Int, z: Int) = x + y + z, 当调用sum的时候，如果不提供所有的参数，或者只提供某些参数时，比如sum _ , sum... 阅读全文

posted @ 2015-08-02 13:39 GatsbyNewton 阅读(1321) 评论(0) 推荐(0) 编辑

Spark RDD详解

摘要： 1.RDD是什么RDD（Resilient Distributed Dataset）：是Spark的核心数据结构，指的是一个只读的、可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD 是只读的 RDD 是分区记录的集合 RDD 是容错的 RDD 是高效的... 阅读全文

posted @ 2015-07-25 22:46 GatsbyNewton 阅读(315) 评论(0) 推荐(0) 编辑

Linux监控本机当前状态命令

摘要： vmstat1.简介vmstat命令是最常见的Linux监控工具，可以查看系统的状态值，其中包括：CPU、内存、虚拟内存、I/O情况。2.参数说明命令格式： vmstat [-a] [-n] [-S unit] [delay [ count]] vmstat [-s] [-n] [-S unit... 阅读全文

posted @ 2015-07-21 16:42 GatsbyNewton 阅读(412) 评论(0) 推荐(0) 编辑

ssh远程调用之shell脚本远程调用应用程序

摘要： 1.引子前几天有一个需求是这样的：本机的shell脚本，通过远程调用另一台机子上的shell脚本，来完成对远程机子上分发的Java程序的执行和其他操作。看上去挺容易，实际上也不难。第一步：用scp从本机向目的机子分发Java程序；第二步：编写shell脚本，用ssh完成调用。然而，问题来了。2.分析... 阅读全文

posted @ 2015-07-20 19:37 GatsbyNewton 阅读(4437) 评论(0) 推荐(0) 编辑

Spark-1.2.2部署

摘要： 1.安装Scala1.1解压和安装在Scala官网http://www.scala-lang.org/download/下载Scala安装包，然后解压。（注：JDK的版本最好是1.7及以上，否则Scala版本要选择较低的。换言之，JDK版本影响Scala版本的选择。）执行命令：tar -zxvf s... 阅读全文

posted @ 2015-07-19 10:56 GatsbyNewton 阅读(346) 评论(0) 推荐(0) 编辑