摘要:
背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在前一篇文章中,我们梳理了TensorFlow中各种异构Device的添加和注册机制,通过使用预先定义好的 阅读全文
摘要:
背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 受限于单个Device的计算能力和存储大小,许多深度学习模型都有着使用模型分片或相关策略的需求。模型分片的 阅读全文
摘要:
背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 作为一款优秀的异构深度学习算法框架,TensorFlow可以在多种设备上运行算法程序,包括CPU,GPU, 阅读全文
摘要:
欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 主要包括以下三部分,本文为第三部分: 一. Scala环境准备 查看二. Hadoop集群(伪分布模式)安装 查看三. Spark集群(standalone模式)安装 Spark集群(standalone模式)安装 若使用spa 阅读全文
摘要:
欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 主要包括以下三部分,本文为第二部分: 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看 Hadoop集群(伪分布模式)安装 依赖项:jdk(ha 阅读全文
摘要:
欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 主要包括以下三部分,本文为第一部分: 一. Scala环境准备 二. Hadoop集群(伪分布模式)安装 查看 三. Spark集群(standalone模式)安装 查看 因Spark任务大多由Scala编写,因此,首先需要准备 阅读全文