摘要：
一、案例： 1、明确需求： 在访问日志中，统计独立ip数量TOP10 2、查看数据结构： ip：是时间戳Http Method Url..... 3、明确编码步骤： 3.1 取出ip，生成一个只有ip的数据集 3.2简单清晰 3.3统计ip出现的次数 3.4排序按照ip出现的次数 3.5取出前十 4 阅读全文
摘要：
一、Map算子： 作用 把 RDD 中的数据 一对一 的转为另一种形式 调用 def map[U: ClassTag](f: T ⇒ U): RDD[U] 参数 f → Map 算子是 原RDD → 新RDD 的过程, 这个函数的参数是原 RDD 数据, 返回值是经过函数转换的新 RDD 的数据 注 阅读全文
摘要：
一、RDD概念 1、RDD在哪里： 2、RDD是什么： 是一个容错的, 并行的数据结构, 可以让用户显式地将数据存储到磁盘和内存中, 并能控制数据的分区.RDD 作为数据结构, 本质上是一个只读的分区记录集合. 一个 RDD 可以包含多个分区, 每个分区就是一个 DataSet 片段.RDD 之间可 阅读全文
摘要：
1、独立应用的形式 （上线、放在集群中运行） 1.1本地运行的方式 idea创建web项目添加scala和maven依赖。 配置pom文件： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/ 阅读全文
摘要：
一、下载相应的sdk进行变量配置： ScalaSDK下载地址：http://www.scala-lang.org/download/ idea下载地址：https://www.jetbrains.com/idea/ 根据解压的路径配置环境变量和系统变量。 之后再配置环境变量就好了（双击系统变量中的p 阅读全文
摘要：
一、编写spark代码的几种方式： （主要看重的方面：1、观察数据集 2、编写代码测试数据集 3、固化代码、提交集群运行上线） 1、spark-shell （数据集的探索、测试） Spark shell 简介 启动 Spark shell进入 Spark 安装目录后执行 spark-shell -- 阅读全文