随笔分类 - Scala
摘要：http://blog.csdn.net/lsshlsw/article/details/48975771 https://www.douban.com/note/499691663/ http://blog.csdn.net/kejiaming/article/details/52084898 h
阅读全文
摘要：spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别： 使用spark-shell进入spark shell 交互界面： 输入命令： 回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。 参考文章： http://blog.csdn.net/xuyaoqiaoyaog
阅读全文
摘要：scala自身是没有continue，break这两个语法关键词的。 但是实际上我们还是很希望有这两个语法，那么我们是否可以自己实现呢？ 从官网上搜索，我们可以找到一下关于break的类相关资料： Breaks extends AnyRef A class that can be instantia
阅读全文
摘要：背景： 接到任务，需要在一个一天数据量在460亿条记录的hive表中，筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度： 解析规则譬如： Scala代码实现“访问hive，并保存结果到hive表”的spark任务： 开发工具为IDEA16,开发语言为scala,开发包
阅读全文
摘要：参考Scala安装：http://www.lupaworld.com/thread-970271-1-1.html 以下命令安装默认scala版本 sudo apt-get install scala 如果想安装特定版本，按照以下步骤： 如果想安装特定版本，按照以下步骤： 1）下载scala压缩包
阅读全文
摘要：idea多个工程如何在一个项目中管理： 把多个多个项目放在一个叫work目录下，那么打开IntelliJ IDEA编译器，点击菜单 File->Open...,选择刚刚的work目录，即可。 在一个workplace下打开了多个项目，这多个项目在这里边怎么管理呢？ File->Project Str
阅读全文
摘要：1 // defined array object 2 val arr0= new Array[String](10) 3 val arr1= Array("Hello","1") 4 println(arr1(0)) 5 arr1(0)="Hello Spark!...
阅读全文
摘要：1 package com.dtgroup.study 2 import scala.io.Source 3 4 object ForFunctionLazy { 5 def main(args: Array[String]): Unit = { 6 // for 7 pri...
阅读全文
摘要：Tuple是一个元组：1，）一组元组中支持多个元素；2，）一组元组中可以包含不同类型的元素；3，）返回下标从_1开始。Array 数组var items=Array(1,2,3,4)Map key，value的方式val ages=Map("hadoop"->9,"Spark"->5)文件的操作方法...
阅读全文
摘要：1，）首先留意一下下边的代码块，他是怎么运行的，貌似在c#中他是出错的，不应该出现这样的写法的，但在scala中侧不然： 1 package com.dt.study 2 3 /** 4 * The package path is com.dt.study. 5 * Created by to...
阅读全文
摘要：Idea 常用快捷键列表Alt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+E或者Alt+Shift+C 最近更改的代码C
阅读全文
摘要：下载安装包 1，）下载java jdk，推荐jdk1.8; 2，）下载scala安装包：http://www.scala-lang.org/; 3，）下载IDE:ide可以选择两种： 3.1，）Scala IDE for eclipse:http://scala-ide.org/ 3.2，）idea
阅读全文
摘要：http://blog.csdn.net/ab198604/article/details/8250461 http://www.cnblogs.com/bigdatasky/p/4955371.html http://www.cnblogs.com/bigdatasky/p/4966290.htm
阅读全文
