又又IT

摘要： spark围绕弹性分布式数据集（RDD）的概念展开的，RDD是一个可以并行操作的容错集合。 创建RDD的方法： 1.并行化集合（并行化驱动程序中现有的集合） 调用SparkContext的parallelize收集方法 2.外部数据集操作（引用外部系统存储的数据集） RDD操作 1.Transfor 阅读全文

摘要： spark的体系结构 1.客户端（Driver Program） 需要构建一个对象，核心是sc(SparkContext) 以应用程序为例：链接本地 启动方式： 1.Spark-Shell 2.Spark-Submit 3.应用程序 2.服务端 1.客户端将job提交给Master(主节点) 2.主 阅读全文

摘要： //统计access.log文件里面IP地址对应的省份，并把结果存入到mysqlpackage access1 import java.sql.DriverManager import org.apache.spark.broadcast.Broadcast import org.apache.spark.{SparkConf, SparkContext} object AccessIp ... 阅读全文

摘要： package moviesimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Movice { def main(args: Array[String]): Unit = { val cof = new SparkConf () .setAppName ... 阅读全文

摘要： 条件：1.数组 2.有序（升序/降序） 一、最基本的二分查找 注意：查找条件 ：low<=high(下边界<=上边界) 2.为了防止溢出：mid=low+(high-mid)/2 (或者mid=(high+low)/2)) 3.当array(mid)>target时 high=mid-1 当arra 阅读全文

摘要： package dayo1 import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable.ArrayBuffer object MapAndPartitions { def main(args: Array[String]): Unit = { val cof = new Sp... 阅读全文

摘要： 实例一： teacher.log 全局topn 组内topn 代码： 实例二： 去重 代码： 实例三： temperature.txt 需求：分析每年的最高温度 代码： 阅读全文

摘要： 1.面向对象 Scala的类与java、C++的一些比起来更简洁，速度更快 对象：使用object关键字修饰的 类：使用class关键字修饰的new Person()实例对象 new类：类的实例（对象） 1.1.单例对象 （1）scala中没有静态方法和静态字段，没有static (2) java中 阅读全文

摘要： 1.元组 定义方式：val tp=("nana',1,1.1) 特点：集合中的数据可以是不同类型的 最多只能放22个元素 取值：通过角标取值，这里的角标是从1开始的，元组名称._角标 tp._1 ("nana") 当出现数组长度不相同时，报错 对偶元组：val tp=("nana",1) 两个元素 阅读全文

摘要： object test03 { def main(args: Array[String]): Unit = { //to 每次迭代为1 val to1=1 to 10 print("to1"+to1) println() //to by 自定义迭代的大小 val to2=1 to 10 by 2 print("to2"+to2) ... 阅读全文