摘要：
今天完成了老师布置的spark实验的第二部分，将两个文件的内容合并在一起并去重，写入到一个新文件中去： 2.编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例， 阅读全文
摘要：
今天完成了老师布置的spark实验4的第一部分，使用的是之前未接触过的编程方式，格式也有很大不同。 实验 4 RDD 编程初级实践 一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16 阅读全文
摘要：
今天完成了上篇博客报告中的最后一道题： 编写独立应用程序，读取 HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在， 请先创建），然后，统计出文件的行数；通过 sbt 工具将整个应用程序编译打包成 JAR 包， 并将生成的 JAR 包通过 spark-submit 提 阅读全文
摘要：
今天完成了老师布置的spark实验报告，其内容包含了spark的安装以及一些基本命令的操作： 《Spark 编程基础（Scala 版）》 实验 3 Spark 和 Hadoop 的安装 一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 阅读全文
摘要：
今天通过观看老师分享的TensorFlow的教学视频，初步学习了什么是逻辑回归的架构： import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials 阅读全文
摘要：
今天通过观看老师分享的视频教程，学习了mnist的使用方法以及对数据集的操作： 代码如下： import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltfrom tensorflow.examples.tutoria 阅读全文
摘要：
今天完成了老师的spark实验二的北荣以及报告 《Spark 编程基础（Scala 版）》 实验 2 Scala 编程初级实践 一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定 阅读全文
摘要：
今天安装了scala，首先去官网上下载scala： 网址：https://www.scala-lang.org/download/ 安装scala： 打开idea，进入setting，下载插件： 新建项目： 选择scala： 选择idea 点击next 选择已经安装好的scala sdk，点击fin 阅读全文
摘要：
今天完成了老师布置的TensorFlow实验00和实验01，实验00是TensorFlow的安装，实验01是TensorFlow的基本操作，实验内容如下： 01.TensorFlow基本操作 实验目的 1.了解TensorFlow的运行原理 2.熟悉TensorFlow的基本操作 实验原理 Tens 阅读全文