随笔分类 - spark
摘要：1、数组 Array可以定义不可变数组，这里的不可变指的是长度不可变 可以指定数组的具体类型，也可以不指定，Scala会自行判定 遍历数组 转换为ArrayBuffer ArrayBuffer ArrayBuffer是可变数组，使用前需要显示导入包 +=在尾端添加元素 在尾端添加多个元素 ++=操作
阅读全文
摘要：1、基本数据类型 数据类型有九种，分别是Byte、Char、Short、Int、Long、Float、Double、Boolean、String。 String属于java.lang包，其余所有的基本类型都是Scala的包成员。 2、变量声明 Scala可以通过var和val来声明变量 val类型的
阅读全文
摘要：1、Spark是什么 Spark是一个用来实现快速而通用的集群计算的平台。 2、Spark是一个大一统的软件栈 Spark项目包含多个紧密集成的组件。首先Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。 Spark的个组件如
阅读全文
摘要：一、首先配置ssh无秘钥登陆， 先使用这条命令：ssh-keygen，然后敲三下回车； 然后使用cd .ssh进入 .ssh这个隐藏文件夹； 再创建一个文件夹authorized_keys，使用命令touch authorized_keys； 然后使用cat id_rsa.pub > authori
阅读全文
摘要：以下内容部分来自于https://zhuanlan.zhihu.com/p/23141509，我尝试了一遍，然后添加了一些图片。。 其实我觉得在IDEA中使用scala插件然后创建project的时候直接用sbt就好了，但是由于某些网络的原因一直失败，然后就很麻烦，所以我干脆就用maven吧 我现在
阅读全文
