学习记录17
摘要：今天完成了spark的一个实验，对于项目完成了第一阶段的验收
阅读全文
摘要：今天主要进行了比赛项目的书写，界面的绘制，流程的联系，但是由于赛题针对的主要是模型的搭建，我也根据平台给出的教程进行学习，但是学不懂，代码看不懂，流程不清楚。
阅读全文
摘要：本次学习学习了将dataframe里吗有结构的数据加载到mysql以及进行读 这里采用独立应用程序的方式读取MySQL数据库内容。创建一个代码文件SparkReadMySQL.scala，其内容如下： import org.apache.log4j.{Level, Logger} import or
阅读全文
摘要：本次学习学习了Dataframe方面的知识 DataFrame DataFrame概念 Spark SQL增加了DataFrame（即带有Schema信息的RDD），使用户可以在Spark SQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可
阅读全文
摘要：本次主要对综合案例进行了学习 案例1：求TOP值 任务描述：orderid,userid,payment,productid file1.txt 1,1768,50,155 2,1218,600,211 3,2239,788,242 4,3101,28,599 5,4899,290,129 6,31
阅读全文
摘要：本次学习学习了共享变量的相关知识内容以及文件系统的读写 本地文件系统的数据读写 读 scala> val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") 因为Spark采用了惰性机制，在执行转换操
阅读全文
摘要：本次学习学习了常用键值对rdd的操作 常用的键值对RDD转换操作 reduceByKey(func) reduceByKey(func)的功能是，使用func函数合并具有相同键的值 (Hadoop,1)(Spark,1)(Hive,1)(Spark,1) scala> pairRDD.reduceB
阅读全文
摘要：本次学习学习了RDD的编程概述 RDD创建 1、从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD该方法把文件的URI作为参数，这个URI可以是：本地文件系统的地址或者是分布式文件系统HDFS的地址或者是Amazon S3的地址等等 本地进行加载
阅读全文
摘要：本次学习学习Spark集群环境的搭建 Spark集群环境搭建 首先下载Spark安装包 选取一个节点为Master，后进行配置： vim ~/.bashrc 在.bashrc添加如下配置 export SPARK_HOME=/usr/local/spark // 注意路径 export PATH=$
阅读全文
摘要：本次学习学习了spark的安装和使用方法 运行代码 Spark shell本身就是一个Driver，里面包含main方法 进入shell界面 ./bin/spark-shell -- master<master-url> <master-url>: local 使用一个CPU本地去运行SPARK：完
阅读全文
摘要：本次学习了Spark概述，了解了Spark的一些基本概念，为更好的学习 基于内存计算的分布式框架，拥有良好的性能，运行速度快，采用内存计算 scala简介 运行再jvm上，具有强大并发性，支持函数式编程，语法简洁，兼容java,交互式语言 Spark与Hadoop比较 Hadoop:磁盘io开销大，
阅读全文
摘要：将Scala剩下的函数式编程进行学习 函数式编程 函数字面量 123：整数自变量 1.23 浮点数自变量 'A' 字符自变量 ... 函数自变量：定义一个变量一般去定义一个函数，使得函数也像其他自变量一般有了值，同样拥有类型和值 函数的类型和值 示例： def counter(value: Int)
阅读全文
摘要：学习了Scala剩下的内容：模式匹配 可以对表达式类型进行匹配 match val colorNum = 1 val colorStr = colorNum match { case 1 => "red" case 2 => "green" case 3 => "yellow" case _ =>
阅读全文
摘要：学习了Scala语言的面向对象方面的知识 类的定义 class Counter{ private var value = 0 def increment() : Unit = { value += 1 } def current() : Int = { value } } 若只有一行语句，可以写成
阅读全文
摘要：继续学习了scala语言数据结构： 容器 列表LIst 不可变对象序列，一旦进行初始化，后不可以在被修改 进行初始化 在已有列表前端添加元素，通过::进行实现 需要注意的是。这不会进行修改操作，而是直接生成了另一个List 集合 不重复元素的集合，包括可变集合和不可变集合 若进行导包，导入mutab
阅读全文
摘要：首先，昨天的学习，进行了解了Spark的生态等等的相关概念，spark底层是进行Scala语言的编写，所以进行学习了Scala语言的一些基础，并做了一些整理： 两种变量： val:不可更改,但必须初始化 var:可以更改,但必须初始化 val指向不能变， 声明变量 会自动推断变量： 完整版声明：名称
阅读全文
摘要：今天，进行Spark的学习，通过林子雨老师的相关课程，Spark编程的基础（Scala),今天主要进行了第一章，基本概念，基本框架，各组件的了解学习。
阅读全文
摘要：今天，下午感觉好受多了，然后把报告书写完了，晚上学习了一下vue的使用。
阅读全文
摘要：新年第一天，进行了生产erp的编写，基本进行完成，明天进行写报告，流程可以进行串联，界面可以交互，明天写报告。今天咳嗽的不行，休息了。
阅读全文
