摘要:
OneFlow系统设计 本文的主要内容如下: OneFlow 的设计目标 OneFlow 的特色一:Actor 机制 OneFlow 的特色二:SBP 机制 总结 一、OneFlow 的设计目标 OneFlow 的设计目标是追求极致的性能,特别是分布式多机多卡环境下的横向扩展性,希望能让用户使用多机 阅读全文
摘要:
3DPytorch-API NVIDIA Kaolin NVIDIA Kaolin library provides a PyTorch API for working with a variety of 3D representations and includes a growing colle 阅读全文
摘要:
Amazon SageMaker和NVIDIA NGC加速AI和ML工作流 从自动驾驶汽车到药物发现,人工智能正成为主流,并迅速渗透到每个行业。但是,开发和部署AI应用程序是一项具有挑战性的工作。该过程要求通过组合硬件,软件和复杂的工作流程来构建可伸缩的基础结构,这既耗时又容易出错。为了加速端到端的 阅读全文
摘要:
将Tensor核心引入标准Fortran 调优的数学库是从HPC系统提取最终性能的一种简单而可靠的方法。但是,对于寿命长的应用程序或需要在各种平台上运行的应用程序,为每个供应商或库版本调整库调用可能是维护的噩梦。 可以自动生成对调优数学库的调用的编译器为提供了两全其美的优势:易于移植和终极性能。在本 阅读全文
摘要:
NVIDIA DeepStream 5.0构建智能视频分析应用程序 无论是要平衡产品分配和优化流量的仓库,工厂流水线检查还是医院管理,要确保员工和护理人员在照顾病人的同时使用个人保护设备(PPE),就可以实现高级智能视频分析(IVA)有用。 在基础层,全球在城市,体育馆,工厂和医院中部署了数十亿个摄 阅读全文
摘要:
自动编码机更像是一个识别网络,只是简单重构了输入。而重点应是在像素级重构图像,施加的唯一约束是隐藏层单元的数量。 有趣的是,像素级重构并不能保证网络将从数据集中学习抽象特征,但是可以通过添加更多的约束确保网络从数据集中学习抽象特征。 稀疏自编码器(又称稀疏自动编码机)中,重构误差中添加了一个稀疏惩罚 阅读全文
摘要:
由 Hinton 提出的标准自动编码机(标准自编码器)只有一个隐藏层,隐藏层中神经元的数量少于输入(和输出)层中神经元的数量,这会压缩网络中的信息,因此可以将隐藏层看作是一个压缩层,限定保留的信息。 自动编码机的学习包括在隐藏层上对输入信号进行压缩表示,然后在输出层尽可能地复现原始输入: 图 1 单 阅读全文
摘要:
变分自编码器(VAE)组合了神经网络和贝叶斯推理这两种最好的方法,是最酷的神经网络,已经成为无监督学习的流行方法之一。 变分自编码器是一个扭曲的自编码器。同自编码器的传统编码器和解码器网络一起,具有附加的随机层。 编码器网络之后的随机层使用高斯分布对数据进行采样,而解码器网络之后的随机层使用伯努利分 阅读全文
摘要:
每次 TensorFlow 运算都被描述成计算图的形式,允许结构和运算操作配置所具备的自由度能够被分配到各个分布式节点上。计算图可以分成多个子图,分配给服务器集群中的不同节点。 强烈推荐读者阅读论文“Large Scale Distributed Deep Networks”,本文的一个重要成果是证 阅读全文
摘要:
本文介绍有关 TensorFlow 分布式的两个实际用例,分别是数据并行(将数据分布到多个 GPU 上)和多服务器分配。 玩转分布式TensorFlow:多个GPU和一个CPU展示一个数据并行的例子,其中数据被切分到多个 GPU 上。具体做法考虑在单个 GPU 上运行矩阵乘法的这段代码: 通过图内拷 阅读全文