11 2021 档案
摘要：/* * * 1. Executor(server) * 说明 * 负责 执行计算任务 * 2. Driver(client) * 说明 * 负责 发送计算任务 给Executor * 3. Task * 负责 组织数据 和 计算逻辑 * */ // 模拟分布式计算 package TestOne
阅读全文
摘要：import java.net.{DatagramPacket, DatagramSocket, InetAddress} // 发送端 object sendTest extends App { //1. 创建 socket private val socket = new DatagramSoc
阅读全文
摘要：import java.io._ import java.net.{InetAddress, ServerSocket, Socket} // 获取 InetAddress 实例 object InetAddressTest extends App { // 通过 域名/IP地址 获取 ip对象 p
阅读全文
摘要：import java.io.{FileInputStream, FileOutputStream, ObjectInputStream, ObjectOutputStream} /* * * * * */ package One { // 序列化对象 object ObjectOutputStre
阅读全文
摘要：import java.io.{File, FileNotFoundException, FileReader, IOException} // try-catch-finally 确保流能正常关闭 /* * 健壮性说明 * 1. 确保在读取文件过程中发生错误(例如IO阻塞)时,能确保 流被关闭 *
阅读全文
摘要：import java.io._ // stdin object StdInTest extends App { // 获取 InputStream private val in: InputStream = System.in // 将字节流 转换成字符流 private val reader:
阅读全文
摘要：import java.io.{DataInputStream, DataOutputStream, FileInputStream, FileOutputStream} // 序列化 object DataOutputStreamTest extends App { // 创建流对象 val ou
阅读全文
摘要：import java.io._ // InputStreamReader // 将 字节按照指定 编码集 重新读取 object InputStreamReaderTest extends App { // 读取文件 //1. 创建File + FileInputStream val inPath
阅读全文
摘要：import java.io._ // 1. FileReader & FileWriter object FileReaderTest extends App { // 读取文件 //1. 实例化File类对象,指明要操作的对象 private val file = new File("spark
阅读全文
摘要：import java.io._ /* * * * * */ // 4. BufferedReader & BufferedWriter object BufferCharStreamTest extends App { // 读取数据 // 1. 创建File + FileReader + Buf
阅读全文
摘要：java.io.File类* 说明* 1. 文件和文件目录路径的抽象表示,和平台(操作系统)无关 File对象* 说明* 1. File 能新建、删除、重命名文件和目录,但是不能访问文件内容本身* 2. 访问文件内容需要使用 io流* 3. 想在java程序中表示真实存在的文件或目录,那么必须有一个
阅读全文
摘要：在Mac环境搭建Spark项目 1. scala项目搭建 https://www.cnblogs.com/bajiaotai/p/15381309.html 2. 添加pom依赖 <!--指定当前 scala版本信息--> <dependencies> <dependency> <groupId>o
阅读全文
摘要：1. Spark 是什么 ##### 1. Spark 是什么 ` Apache Spark is a unified analytics engine for large-scale data processing 1. spark 是一个 统一的 用来分析大规模数据的 分析引擎 2. 它提供了
阅读全文
摘要：异常处理* 语法* try {* 可疑代码* } catch {* 捕获异常* case 异常1 => {}* case 异常2 => {}* } finally {* 最终执行* }* 说明* 1. try 代码块* 将可疑代码封装在try代码块中,如果发生异常,catch 代码块会处理这个异常*
阅读全文
摘要：/** 语法* 目标值 match {* case 条件1 => 操作1* case 条件2 => 操作2* case 条件3 => 操作3* case 条件4 => 操作4* case _ => 操作5* }* 返回值 操作对应的结果* 说明* 1.都匹配不上时,会进入_分支,如果没有_分支,会报
阅读全文
摘要：import scala.collection.mutable /* * 队列 * 操作受限的链表 * */ object QueueTest extends App { var q = mutable.Queue[String]() //1.入队 q.enqueue("java1") q.enqu
阅读全文
摘要：import scala.collection.mutable object MapReduceComplex extends App { var tp1 = ("Hello Scala Spark World ", 4) var tp2 = ("Hello Scala Spark", 3) var
阅读全文
摘要：说明:* 1.map使用高级函数时,注意map的元素类型为二元元组 tp:(dataType,dataType)* 2.map没有排序函数,如果要排序,必须先转成list** */ /* * 说明: * 1.map使用高级函数时,注意map的元素类型为二元元组 tp:(dataType,dataTy
阅读全文
摘要：/** 集合的高级计算(filter、map、flatten、flatMap、group、reudce、fold)* 说明* 1.map的元素类型为 二元元组 tp:(Any,Any)* 2.map没有排序函数,如果排序,需要先转成list* 1. 过滤* 遍历集合并从中获取满足指定条件的元组,返回
阅读全文
摘要：集合的简单计算(求和、乘积、最大值、最小值、排序)* 1. 求和* 2. 求乘积* 3. 最大值* 4. 最小值* 5. 排序* 说明* 1.sorted 按数据元素值(默认),正序排序(默认)* 2.sortBy 按指定数据元素值比较(自定义),正序排序(默认)* 3.sortWith 按指定规则
阅读全文
摘要：集合的衍生操作* 1. 获取集合的head* 2. 获取集合的tail(返回去掉head节点的集合)* 3. 获取集合最后一个数据* 4. 获取集合初始元素(不包含最后一个)* 5. 集合反转* 6. 获取前(后)n个元素* 7. 去掉前(后)n个元素* 8. 并集* 9. 交集* 10. 差集*
阅读全文
摘要：ADT 基本属性&操作* 1. 获取集合长度* 2. 获取集合大小* 3. 循环遍历集合* 4. 迭代器* 5. 生成字符串* 6. 是否包含* */ /* * ADT 基本属性&操作 * 1. 获取集合长度 * 2. 获取集合大小 * 3. 循环遍历集合 * 4. 迭代器 * 5. 生成字符串 *
阅读全文
摘要：元组 - Tuple* 说明* 可以存放相同或不同数据类型的容器* 根据元素的个数我们称之为 x元元组* 注意* 元组最大只能存22个元素** */ /* * 元组 - Tuple * 说明 * 可以存放相同或不同数据类型的容器 * 根据元素的个数我们称之为 x元元组 * 注意 * 元组最大只能存2
阅读全文
摘要：1.Map的分类 * TODO: Map的分类 * 1.不可变 Map * 2.可变 Map(mutable.Map) 2.可变Map 和 不可变Map的区别 * TODO: 可变Map 和 不可变Map的区别 * Map 的可变和不可变 指的是Map初始化后 是否可以被修改(增加、减少、修改元素)
阅读全文
摘要：Set集合* 特点* 元素不重复且无序* 分类* 可变Set和不可变Set* import scala.collection.mutable /* * Set集合 * 特点 * 元素不重复且无序 * 分类 * 可变Set : 对象初始化后,元素个数和内容可以修改,修改后对象不会改变,也不会产生新的对
阅读全文
摘要：说明* 1. 链表的实现分类* 不可变List、可变List可变&不可变的区别* 不可变 : 链表初始化时,长度固定,不可修改* 可变 : 链表长度可改变 import scala.collection.mutable.ListBuffer /** * @author gaocun * @creat
阅读全文
