摘要：
分层架构是常用的架构模式，对于一个大系统可以划分为几个子系统，各子系统位于不同的抽象层次。各层间上层依赖下层服务，下层不能依赖上层。 消息可以从上向下，也可以从下向上。自顶向下调用下层接口，称为请求。自低向上的通信，称为通知，一般使用回调方法，从而实现单路径耦合。 【分层的步骤】 1、定义抽象准则 阅读全文
摘要：
一、张量（Tensor）： 1、张量的阶和数据类型 2、张量的属性： graph 张量所属的默认图 op 张量的操作名 name 张量的字符串描述 shape 张量形状 3、张量的动态形状与静态形状 TensorFlow中，张量具有静态形状和动态形状 静态形状： 创建一个张量或者由操作推导出一个张量 阅读全文
摘要：
一、什么是TensorFlow？ TensorFlow是全面的深度学习框架支持非常全面不是专门为客户端设计 特点： 1、真正的可移植性： 引入各种计算设备的支持包括CPU/GPU/TPU，以及能够很好地运行在移动端， 如安卓设备、ios、树莓派等等 2、多语言支持： Tensorflow 有一个合理 阅读全文
摘要：
一、RDD 的转换(transformation) 在 RDD 上支持 2 种操作: transformation 从一个已知的 RDD 中创建出来一个新的 RDD 例如: map就是一个transformation. action 在数据集上计算结束之后, 给驱动程序返回一个值. 例如: redu 阅读全文
摘要：
一、RDD的创建 在 Spark 中创建 RDD 的方式可以分为 3 种： 从集合中创建 RDD 从外部存储创建 RDD 从其他 RDD 转换得到新的 RDD。 1、从集合中创建 RDD 1-1、使用parallelize函数创建 scala> val arr = Array(10,20,30,40 阅读全文
摘要：
1.1 什么是 RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。 在代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 1.2 RDD 的 5 个主要属性(property) A lis 阅读全文
摘要：
体系结构是组成系统的元素、元素之间的相互作用、指导元素结合以及设计的模式和原理、对这些模式上的约束等描述，文中对体系结构的描述是这样的：体系结构是对一个系统的规格说明，在建立时，它需要展示需要的特征；系统的描述必须包括质量属性以及实现这些属性的软件结构设计模式的说明。 体系结构的作用 对于一些高质量 阅读全文
摘要：
一、说在前面 实验前提以及安装好hadoop和spark 二、题目 1、使用 Hadoop 提供的 Shell 命令完成如下操作： （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新 阅读全文
摘要：
一、要求 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 REPL 运 阅读全文
摘要：
一、说在前面 1、版本 scalasdk ：2.11.8 idea 2019.3 2、ScalaSDK下载地址：http://www.scala-lang.org/download/ 3、idea下载地址：https://www.jetbrains.com/idea/ 二、配置 1、下载完成Scal 阅读全文