02 2021 档案

摘要:基于Jittor框架实现LSGAN图像生成对抗网络 生成对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。GAN模型由生成器(Generator)和判别器(Discriminator)两个部分组成 阅读全文
posted @ 2021-02-28 15:41 吴建明wujianming 阅读(305) 评论(0) 推荐(0) 编辑
摘要:Angel图算法 [2.0]CommonFriends 计算两个好友的共同好友数,某种程度上可以刻画两个节点之间的紧密程度。 输入 输入数据路径:输入文件所在路径,无权网络数据, 数据格式为两列 srcId(long) | dstId(long), 其中|为分隔符,分隔字段表示空白符或者逗号等。 输 阅读全文
posted @ 2021-02-28 10:19 吴建明wujianming 阅读(110) 评论(0) 推荐(0) 编辑
摘要:AIFramework框架Jittor特性(下) 阅读全文
posted @ 2021-02-28 07:25 吴建明wujianming 阅读(67) 评论(0) 推荐(0) 编辑
摘要:AIFramework框架Jittor特性(上) 阅读全文
posted @ 2021-02-28 07:15 吴建明wujianming 阅读(91) 评论(0) 推荐(0) 编辑
摘要:人工智能训练云燧T10 基于邃思芯片打造的面向云端数据中心的人工智能训练加速产品,具有高性能、通用性强、生态开放等优势,可广泛应用于互联网、金融、教育、医疗、工业及政务等人工智能训练场景。 超强算力 单精度 (FP32)下算力20TFLOPS , 半精度及混合精度 (BF16/FP16) 下算力80 阅读全文
posted @ 2021-02-27 19:22 吴建明wujianming 阅读(162) 评论(0) 推荐(0) 编辑
摘要:云计算应用场景分析 对象存储OBS在大数据分析的应用 大数据分析 提供高性能,高可靠,低时延,缩小的海量存储系统,与华为云的大数据服务组合使用,能够降低成本,并根据需求调整规模和提高创新速度帮助企业简单便捷的管理大数据 优势 高性能 处理突发的高峰流量,无需担心扩容不及时带来问题 低成本 资源弹性伸 阅读全文
posted @ 2021-02-26 06:23 吴建明wujianming 阅读(336) 评论(0) 推荐(0) 编辑
摘要:昇腾全栈的解决方案 阅读全文
posted @ 2021-02-26 06:08 吴建明wujianming 阅读(134) 评论(0) 推荐(0) 编辑
摘要:自动驾驶解决方案架构 自动驾驶开发平台技术架构 开发自动驾驶车辆采集、传输、存储和管理海量数据。 华为云提供海量的、高度扩展能力的存储和计算能力,以及Hadoop、Spark等大数据组件和AI一站式开发平台,预集成数据预处理及半自动化标注算法,用户通过平台可高效完成自动驾驶模型按需训练和仿真测试,帮 阅读全文
posted @ 2021-02-26 05:58 吴建明wujianming 阅读(601) 评论(0) 推荐(0) 编辑
摘要:自动驾驶开发云平台业务分析 自动驾驶车辆量产需积累大量里程经验,传统车端研发和测试方式,无法满足市场需求,业界普遍采用“云+端”研发迭代新模式,通过测试车队采集海量道路环境数据,在云端进行模型和算法开发和仿真验证,达到产品安全标准。华为基于云、边、端协同能力,提供高性能基础平台、应用平台和AI开发平 阅读全文
posted @ 2021-02-26 05:45 吴建明wujianming 阅读(358) 评论(0) 推荐(0) 编辑
摘要:ResNet-50模型图像分类示例 概述 计算机视觉是当前深度学习研究最广泛、落地最成熟的技术领域,在手机拍照、智能安防、自动驾驶等场景有广泛应用。从2012年AlexNet在ImageNet比赛夺冠以来,深度学习深刻推动了计算机视觉领域的发展,当前最先进的计算机视觉算法几乎都是深度学习相关的。深度 阅读全文
posted @ 2021-02-25 06:29 吴建明wujianming 阅读(2936) 评论(0) 推荐(0) 编辑
摘要:图算融合优化示例 概述 图算融合是MindSpore特有的网络性能优化技术。它可以通过自动分析和优化现有网络计算图逻辑,并结合目标硬件能力,对计算图进行计算化简和替代、算子拆分和融合、算子特例化编译等优化,以提升设备计算资源利用率,实现对网络性能的整体优化。相比传统优化技术,图算融合具有多算子跨边界 阅读全文
posted @ 2021-02-25 06:21 吴建明wujianming 阅读(385) 评论(0) 推荐(0) 编辑
摘要:单精度和半精度混合训练 概述 混合精度训练方法,通过混合使用单精度和半精度数据格式,加速深度神经网络训练的过程,同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程,同时减少内存使用和存取,并使得在特定的硬件上可以训练更大的模型或batch size。 对于FP16的算子,若给定的数 阅读全文
posted @ 2021-02-25 06:15 吴建明wujianming 阅读(584) 评论(0) 推荐(0) 编辑
摘要:达芬奇架构NPU 达芬奇架构的核心优势是什么?如何更好地赋能麒麟990? 达芬奇架构,是华为自研的面向AI计算特征的全新计算架构,具备高算力、高能效、灵活可裁剪的特性,是实现万物智能的重要基础。具体来说,达芬奇架构采用3D Cube针对矩阵运算做加速,大幅提升单位功耗下的AI算力,每个AI Core 阅读全文
posted @ 2021-02-24 06:25 吴建明wujianming 阅读(1900) 评论(0) 推荐(0) 编辑
摘要:3D Cube计算引擎加速运算 华为达芬奇架构的AI芯片Ascend910,同时与之配套的新一代AI开源计算框架MindSpore。 为什么要做达芬奇架构? AI将作为一项通用技术极大地提高生产力,改变每个组织和每个行业。为了实现AI在多平台多场景之间的协同,华为设计达芬奇计算架构,在不同体积和功耗 阅读全文
posted @ 2021-02-24 06:07 吴建明wujianming 阅读(491) 评论(0) 推荐(0) 编辑
摘要:RISC-V与DSA计算机架构 相信所有和计算机体系结构打过交道的朋友们都看过David Patterson与John Hennessy的煌煌巨作,《计算机体系架构:量化研究方法》。两位在计算机架构领域鼎鼎大名的教授,一个来自加州大学伯克利分校,另一个来自斯坦福。 首先上场的是David Patte 阅读全文
posted @ 2021-02-23 06:25 吴建明wujianming 阅读(1343) 评论(0) 推荐(0) 编辑
摘要:开源软硬一体OpenCV AI Kit(OAK) OpenCV 涵盖图像处理和计算机视觉方面的很多通用算法,是非常有力的研究工具之一,且稳居开发者最喜爱的 AI 工具/框架榜首。 1、会不会被USA禁止啊? b. 不会, Myriad X 可以销售,性能稍低 (嵌入式芯片 4TOPS),被禁的是10 阅读全文
posted @ 2021-02-23 06:01 吴建明wujianming 阅读(900) 评论(0) 推荐(0) 编辑
摘要:GEMM与AutoKernel算子优化 随着AI技术的快速发展,深度学习在各个领域得到了广泛应用。深度学习模型能否成功在终端落地应用,满足产品需求,一个关键的指标就是神经网络模型的推理性能。一大波算法工程师为了算法的部署转岗算子优化工程师。优化代码并不是一件简单的事,要求工程师既要精通计算机体系架构 阅读全文
posted @ 2021-02-23 05:40 吴建明wujianming 阅读(526) 评论(0) 推荐(0) 编辑
摘要:deeplearning搜索空间 搜索空间是神经网络搜索中的一个概念。搜索空间是一系列模型结构的汇集, SANAS主要是利用模拟退火的思想在搜索空间中搜索到一个比较小的模型结构或者一个精度比较高的模型结构。 paddleslim.nas 提供的搜索空间 根据初始模型结构构造搜索空间: MobileN 阅读全文
posted @ 2021-02-21 11:30 吴建明wujianming 阅读(149) 评论(0) 推荐(0) 编辑
摘要:deeplearning算法优化原理目录· 量化原理介绍 · 剪裁原理介绍 · 蒸馏原理介绍 · 轻量级模型结构搜索原理介绍 1. Quantization Aware Training量化介绍1.1 背景近年来,定点量化使用更少的比特数(如8-bit、3-bit、2-bit等)表示神经网络的权重和 阅读全文
posted @ 2021-02-21 10:47 吴建明wujianming 阅读(268) 评论(0) 推荐(0) 编辑
摘要:deeplearning模型库 1. 图像分类 数据集:ImageNet1000类 1.1 量化 分类模型Lite时延(ms) 设备 模型类型 压缩策略 armv7 Thread 1 armv7 Thread 2 armv7 Thread 4 armv8 Thread 1 armv8 Thread 阅读全文
posted @ 2021-02-21 07:23 吴建明wujianming 阅读(210) 评论(0) 推荐(0) 编辑
摘要:硬件delay评估表 硬件延时评估表用于快速评估一个模型在特定硬件环境和推理引擎上的推理速度。 Bw 主要用于定义PaddleSlim支持的硬件延时评估表的格式。 概述 硬件延时评估表中存放着所有可能的操作对应的延时信息,该表中的一个操作包括操作类型和操作参数,比如:操作类型可以是conv2d,对应 阅读全文
posted @ 2021-02-21 07:05 吴建明wujianming 阅读(105) 评论(0) 推荐(0) 编辑
摘要:Deeplearning知识蒸馏 merge paddleslim.dist.merge(teacher_program, student_program, data_name_map, place, scope=fluid.global_scope(), name_prefix='teacher_ 阅读全文
posted @ 2021-02-21 06:56 吴建明wujianming 阅读(118) 评论(0) 推荐(0) 编辑
摘要:deeplearning量化 量化配置 通过字典配置量化参数 TENSORRT_OP_TYPES = [ 'mul', 'conv2d', 'pool2d', 'depthwise_conv2d', 'elementwise_add', 'leaky_relu' ] TRANSFORM_PASS_O 阅读全文
posted @ 2021-02-21 06:49 吴建明wujianming 阅读(205) 评论(0) 推荐(0) 编辑
摘要:卷积层通道剪裁 Pruner classpaddleslim.prune.Pruner(criterion="l1_norm") 对卷积网络的通道进行一次剪裁。剪裁一个卷积层的通道,是指剪裁该卷积层输出的通道。卷积层的权重形状为 [output_channel, input_channel, ker 阅读全文
posted @ 2021-02-21 06:37 吴建明wujianming 阅读(272) 评论(0) 推荐(0) 编辑
摘要:搜索空间参数配置 通过参数配置搜索空间。 参数: input_size(int|None):- input_size 表示输入 feature map 的大小。 input_size 和 output_size 用来计算整个模型结构中下采样次数。 output_size(int|None):- ou 阅读全文
posted @ 2021-02-21 06:30 吴建明wujianming 阅读(238) 评论(0) 推荐(0) 编辑
摘要:deeplearning模型分析 FLOPs paddleslim.analysis.flops(program, detail=False) 获得指定网络的浮点运算次数(FLOPs)。 参数: program(paddle.fluid.Program) - 待分析的目标网络。更多关于Program 阅读全文
posted @ 2021-02-21 06:16 吴建明wujianming 阅读(122) 评论(0) 推荐(0) 编辑
摘要:nvJPEG库 GPU加速的JPEG解码器,编码器和代码转换器 nvJPEG库是高性能的GPU加速库,用于解码,编码和转码JPEG格式的图像。nvJPEG2000库用于解码JPEG 2000格式的图像。与仅CPU解码相比,依赖nvJPEG或nvJPEG2000进行解码的应用程序,可提供更高的吞吐量和 阅读全文
posted @ 2021-02-20 14:28 吴建明wujianming 阅读(1198) 评论(0) 推荐(0) 编辑
摘要:GPU上的图像和信号处理 NVIDIA Performance Primitives(NPP)库提供GPU加速的图像,视频和信号处理功能,其执行速度比仅CPU实施快30倍。拥有5000多个用于图像和信号处理的原语,可以轻松执行诸如颜色转换,图像压缩,过滤,阈值处理和图像处理之类的任务。 NPP库优化 阅读全文
posted @ 2021-02-20 08:39 吴建明wujianming 阅读(521) 评论(0) 推荐(0) 编辑
摘要:NVIDIA GPU的快速傅立叶变换 cuFFT库提供GPU加速的FFT实现,其执行速度比仅CPU的替代方案快10倍。cuFFT用于构建跨学科的商业和研究应用程序,例如深度学习,计算机视觉,计算物理,分子动力学,量子化学以及地震和医学成像。使用cuFFT,应用程序会自动受益于常规性能的改进和新的GP 阅读全文
posted @ 2021-02-20 08:30 吴建明wujianming 阅读(493) 评论(0) 推荐(0) 编辑
摘要:GPU加速库AmgX AmgX提供了一条简单的途径来加速NVIDIA GPU上的核心求解器技术。AmgX可以为模拟的计算密集型线性求解器部分提供高达10倍的加速度,特别适合于隐式非结构化方法。 它是一个高性能,最新的库,并包括灵活的求解器组合系统,使用户可以轻松构造复杂的嵌套求解器和预处理器。 查看 阅读全文
posted @ 2021-02-20 08:20 吴建明wujianming 阅读(637) 评论(0) 推荐(0) 编辑
摘要:NVIDIA GPU上的Tensor线性代数 cuTENSOR库是同类中第一个GPU加速的张量线性代数库,提供张量收缩,归约和逐元素运算。cuTENSOR用于加速在深度学习训练和推理,计算机视觉,量子化学和计算物理领域的应用。使用cuTENSOR,应用程序会自动受益于常规性能的改进和新的GPU架构。 阅读全文
posted @ 2021-02-20 08:13 吴建明wujianming 阅读(297) 评论(0) 推荐(0) 编辑
摘要:CUDA数学库 高性能数学例程 CUDA数学库是经过行业验证的,高度准确的标准数学函数的集合。只需在源代码中添加“ #include math.h”,即可用于任何CUDA C或CUDA C ++应用程序,CUDA Math库可确保应用程序受益于针对每种NVIDIA GPU架构进行了优化的高性能数学例 阅读全文
posted @ 2021-02-20 08:08 吴建明wujianming 阅读(709) 评论(0) 推荐(0) 编辑
摘要:NVIDIA GPU上的随机数生成 NVIDIA CUDA随机数生成库(cuRAND)提供高性能的GPU加速的随机数生成(RNG)。cuRAND库使用NVIDIA GPU中提供的数百个处理器内核,将质量随机数提高了8倍。cuRAND库包含在NVIDIA HPC SDK和CUDA Toolkit中。 阅读全文
posted @ 2021-02-20 08:02 吴建明wujianming 阅读(527) 评论(0) 推荐(0) 编辑
摘要:NVIDIA GPU上的直接线性求解器 NVIDIA cuSOLVER库提供了密集且稀疏的直接线性求解器和本征求解器的集合,它们为计算机视觉,CFD,计算化学和线性优化应用程序提供了显着的加速。cuSOLVER库包含在NVIDIA HPC SDK和CUDA Toolkit中。 cuSOLVER性能 阅读全文
posted @ 2021-02-20 07:48 吴建明wujianming 阅读(349) 评论(0) 推荐(0) 编辑
摘要:GPU上稀疏矩阵的基本线性代数 cuSPARSE库为稀疏矩阵提供了GPU加速的基本线性代数子例程,这些子例程的执行速度明显快于仅CPU替代方法。提供了可用于构建GPU加速求解器的功能。cuSPARSE被从事机器学习,计算流体力学,地震勘探和计算科学等应用的工程师和科学家广泛使用。使用cuSPARSE 阅读全文
posted @ 2021-02-20 07:40 吴建明wujianming 阅读(689) 评论(0) 推荐(0) 编辑
摘要:GPU上的基本线性代数 cuBLAS库提供了基本线性代数子例程(BLAS)的GPU加速实现。cuBLAS通过针对NVIDIA GPU进行了高度优化的嵌入式行业标准BLAS API来加速AI和HPC应用程序。cuBLAS库包含用于批处理操作,跨多个GPU的执行以及混合和低精度执行的扩展。使用cuBLA 阅读全文
posted @ 2021-02-20 07:30 吴建明wujianming 阅读(201) 评论(0) 推荐(0) 编辑
摘要:NVIDIA数据中心深度学习产品性能 在现实世界的应用程序中部署AI,需要训练网络以指定的精度融合。这是测试AI系统的最佳方法-准备将其部署在现场,因为网络随后可以提供有意义的结果(例如,对视频流正确执行图像识别)。不收敛的训练是对指定AI网络上硬件吞吐能力的衡量,但不能代表实际应用。 NVIDIA 阅读全文
posted @ 2021-02-20 07:04 吴建明wujianming 阅读(90) 评论(0) 推荐(0) 编辑
摘要:GeforceRTX系列参数对比 阅读全文
posted @ 2021-02-20 06:25 吴建明wujianming 阅读(403) 评论(0) 推荐(0) 编辑
摘要:NVIDIA CUDA-X AI 面向数据科学和 AI 的 NVIDIA GPU 加速库 数据科学是推动 AI 发展的关键力量之一,而 AI 能够改变各行各业。 但是,驾驭 AI 的力量是一个复杂挑战。 开发基于 AI 的应用程序涉及许多个步骤(包括数据处理、特征工程、机器学习、验证和部署),而且每 阅读全文
posted @ 2021-02-20 06:14 吴建明wujianming 阅读(630) 评论(0) 推荐(0) 编辑
摘要:NVIDIA 认证系统 AI 是这个时代最强大的技术,需要新一代经过调整和测试的计算机来推动其发展。 自 1 月 27 日开始,可从 NVIDIA 合作伙伴处获取用于数据中心的新型加速服务器,推动 AI 和数据分析的发展。顶尖的系统制造商正在交付首批 NVIDIA 认证系统,目前业内唯一通过现代工作 阅读全文
posted @ 2021-02-20 06:05 吴建明wujianming 阅读(688) 评论(0) 推荐(0) 编辑
摘要:汉字手写训练和识别 一、简介 本文是属于手写体文字识别应用,旨在基于MindSpore AI计算框架和Atlas实现手写汉字拍照识别系统。该系统能够对写在纸上的多个汉字,使用摄像头拍摄视频,实时检测字符区域并给出识别类别。该系统包括手写汉字模型训练(云上)、模型转换、模型部署、摄像头图像采集、模型推 阅读全文
posted @ 2021-02-19 12:52 吴建明wujianming 阅读(1371) 评论(0) 推荐(0) 编辑
摘要:动态表单工作量给后端 让前端远离互相伤害 一个IT公司的日常就是程序员、产品经理、UI等同事们的互相残杀: 应用,不少前端就备受煎熬,除了修改需求的魔咒外,还有后端的重构和调整接口诅咒,即便需求没改,后端接口或数据结构的调整前端也要巴巴的陪着改,甚至还要为此做大型重构。但是前端重构就真的只是前端重构 阅读全文
posted @ 2021-02-18 07:58 吴建明wujianming 阅读(447) 评论(0) 推荐(0) 编辑
摘要:机器学习PAL数据可视化 本文以统计全表信息为例,介绍如何进行数据可视化。 前提条件 完成数据预处理,详情请参见数据预处理。 操作步骤 登录PAI控制台。 在左侧导航栏,选择模型开发和训练 > Studio-可视化建模。 在PAI可视化建模页面,单击进入机器学习。 在左侧菜单栏,单击组件。 在组件列 阅读全文
posted @ 2021-02-18 07:34 吴建明wujianming 阅读(175) 评论(0) 推荐(0) 编辑
摘要:机器学习PAL数据预处理 本文介绍如何对原始数据进行数据预处理,得到模型训练集和模型预测集。 前提条件 完成数据准备,详情请参见准备数据。 操作步骤 登录PAI控制台。 在左侧导航栏,选择模型开发和训练 > Studio-可视化建模。在PAI可视化建模页面,单击进入机器学习。 将组件拖入画布并拼接为 阅读全文
posted @ 2021-02-18 07:26 吴建明wujianming 阅读(171) 评论(0) 推荐(0) 编辑
摘要:机器学习PAL基本概念 本文介绍PAI-Studio、PAI-DSW及PAI-EAS的基本概念。 PAI-Studio PAI-DSW PAI-EAS 阅读全文
posted @ 2021-02-18 07:13 吴建明wujianming 阅读(217) 评论(0) 推荐(0) 编辑
摘要:机器学习PAL产品优势 PAI支持丰富的机器学习算法、一站式的机器学习体验、主流的机器学习框架及可视化的建模方式。本文介绍PAI的产品优势。 丰富的机器学习算法 PAI的算法都经过阿里巴巴集团大规模业务的沉淀,不仅支持基础的聚类和回归类算法,同时也支持文本分析和特征处理等复杂算法。 支持对接阿里云其 阅读全文
posted @ 2021-02-18 07:06 吴建明wujianming 阅读(153) 评论(0) 推荐(0) 编辑
摘要:机器学习PAI产品架构 本文介绍PAI的产品架构。 如上图所示,PAI的业务架构分为五层: 基础设施层:包括CPU、GPU、FPGA及NPU。 计算引擎和容器服务层:包括MaxCompute、EMR、实时计算等计算引擎及容器服务ACK。 计算框架层:包括Alink、TensorFlow、PyTorc 阅读全文
posted @ 2021-02-18 06:59 吴建明wujianming 阅读(250) 评论(0) 推荐(0) 编辑
摘要:机器学习PAI 机器学习PAI(Platform of Artificial Intelligence)是阿里云人工智能平台,提供一站式的机器学习解决方案。本文介绍什么是机器学习PAI。 什么是机器学习 机器学习是指机器通过统计学算法,对大量历史数据进行学习,进而利用生成的经验模型指导业务。目前机器 阅读全文
posted @ 2021-02-18 06:54 吴建明wujianming 阅读(478) 评论(0) 推荐(0) 编辑
摘要:Auto ML自动特征工程 特征工程是在做机器学习训练的过程中必不可少的环节,特征工程就是找出对模型结果有益的特征交叉关系,通常特征工程需要耗费算法工程师大量的精力去尝试。针对这样的场景,PAI推出智能特征交叉组件,基于该组件可以帮助您锁定哪些特征的交叉是有意义的。本文介绍智能特征交叉组件的使用方法 阅读全文
posted @ 2021-02-18 06:49 吴建明wujianming 阅读(280) 评论(0) 推荐(0) 编辑
摘要:Auto ML自动调参 本文介绍Auto ML自动调参的算法介绍及操作流程。 操作步骤 登录PAI控制台。 单击左侧导航栏的实验并选择某个实验。 本文以雾霾天气预测实验为例。 在实验画布区,单击左上角的Auto ML > 模型自动调参。 在自动调参配置页面,选择需要调参的算法,单击下一步。 说明 一 阅读全文
posted @ 2021-02-18 06:31 吴建明wujianming 阅读(235) 评论(0) 推荐(0) 编辑
摘要:自动机器学习(AutoML) 不再需要苦恼于学习各种机器学习的算法 目录: 一、为什么需要自动机器学习 二、超参数优化 Hyper-parameter Optimization 三、元学习 Meta Learning 四、神经网络架构搜索 Neural Architecture Search 五、自 阅读全文
posted @ 2021-02-18 06:11 吴建明wujianming 阅读(2020) 评论(0) 推荐(1) 编辑
摘要:MegEngine基本概念 基本概念 MegEngine 是基于计算图的深度神经网络学习框架。 本文内容会简要介绍计算图及其相关基本概念,以及在 MegEngine 中的实现。 计算图 结合一个简单的数学表达式来介绍计算图中的基本概念。下图是 y = (w * x) + b 这一数学表达式的计算图表 阅读全文
posted @ 2021-02-17 07:58 吴建明wujianming 阅读(739) 评论(0) 推荐(0) 编辑
摘要:MegEngine计算图、MatMul优化解析 本文针对天元在推理优化过程中所涉及的计算图优化与 MatMul 优化进行深度解读,希望能够帮助广大开发者在利用天元 MegEngine「深度学习,简单开发」的同时,也能够了解 CPU 优化的相关知识。从而帮助大家在模型部署的整体流程中更好地进行加速;在 阅读全文
posted @ 2021-02-17 07:49 吴建明wujianming 阅读(393) 评论(0) 推荐(1) 编辑
摘要:MegEngine 框架设计 MegEngine 技术负责人许欣然将带了解一个深度学习框架是如何把网络的定义逐步优化并最终执行的,从框架开发者的视角来看待深度学习。 背景 AI 浪潮一波又一波,仿佛不会算法就落后于时代。 深度学习框架处理了各种设备的计算细节、求导、计算优化序列的工作,而在动态、静态 阅读全文
posted @ 2021-02-17 07:33 吴建明wujianming 阅读(135) 评论(0) 推荐(0) 编辑
摘要:旷视MegEngine核心技术升级 7 月 11 日,旷视研究院在 2020 WAIC · 开发者日「深度学习框架与技术生态论坛」上围绕 6 月底发布的天元深度学习框架(MegEngine)Beta 版本核心技术升级与开源生态建设进行了首次深度解读。 7 月 11 日,旷视研究院在 2020 WAI 阅读全文
posted @ 2021-02-17 07:28 吴建明wujianming 阅读(335) 评论(0) 推荐(0) 编辑
摘要:MegEngine亚线性显存优化 MegEngine经过工程扩展和优化,发展出一套行之有效的加强版亚线性显存优化技术,既可在计算存储资源受限的条件下,轻松训练更深的模型,又可使用更大batch size,进一步提升模型性能,稳定batchwise算子。使用MegEngine训练ResNet18/Re 阅读全文
posted @ 2021-02-17 06:54 吴建明wujianming 阅读(188) 评论(0) 推荐(0) 编辑
摘要:MegEngine推理性能优化 MegEngine「训练推理一体化」的独特范式,通过静态图优化保证模型精度与训练时一致,无缝导入推理侧,再借助工业验证的高效卷积优化技术,打造深度学习推理侧极致加速方案,实现当前业界最快运行速度。本文从推理侧的数据排布(Inference Layout)讲起,接着介绍 阅读全文
posted @ 2021-02-17 06:39 吴建明wujianming 阅读(194) 评论(0) 推荐(0) 编辑
摘要:deeplearning模型量化实战 MegEngine 提供从训练到部署完整的量化支持,包括量化感知训练以及训练后量化,凭借“训练推理一体”的特性,MegEngine更能保证量化之后的模型与部署之后的效果一致。本文将简要介绍神经网络量化的原理,并与大家分享MegEngine量化方面的设计思路与实操 阅读全文
posted @ 2021-02-17 06:18 吴建明wujianming 阅读(423) 评论(0) 推荐(0) 编辑
摘要:Wide & Deep的OneFlow网络训练 HugeCTR是英伟达提供的一种高效的GPU框架,专为点击率(CTR)估计训练而设计。 OneFlow对标HugeCTR搭建了Wide & Deep 学习网络(WDL)。OneFlow-WDL网络实现了模型并行与稀疏更新,在8卡12G TitanV的服 阅读全文
posted @ 2021-02-17 06:00 吴建明wujianming 阅读(232) 评论(0) 推荐(0) 编辑
摘要:BERT模型的OneFlow实现 模型概述 BERT(Bidirectional Encoder Representations from Transformers)是NLP领域的一种预训练模型。本案例中,基于论文BERT: Pre-training of Deep Bidirectional Tr 阅读全文
posted @ 2021-02-17 05:46 吴建明wujianming 阅读(320) 评论(0) 推荐(0) 编辑
摘要:Yolov3 的 OneFlow 实现 1.简介 YOLO 系列的算法(经典的v1~v3),是单阶段目标检测网络的开山鼻祖,YOLO—You only look once,表明其单阶段的特征,正是由于网络简单,单阶段的效率较快,使其区别于 Faster-RCNN 为代表的两阶段目标检测器,从一开始推 阅读全文
posted @ 2021-02-17 05:32 吴建明wujianming 阅读(177) 评论(0) 推荐(0) 编辑
摘要:ResNet网络的训练和预测 简介 Introduction 图像分类与CNN 图像分类 是指将图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法,是计算机视觉中其他任务,比如目标检测、语义分割、人脸识别等高层视觉任务的基础。 ImageNet 大规模视觉识别挑战赛(ILSVRC), 阅读全文
posted @ 2021-02-16 06:59 吴建明wujianming 阅读(1708) 评论(0) 推荐(0) 编辑
摘要:自定义 DataLoader 如 数据输入 一文所介绍,OneFlow 支持两种数据加载方式:直接使用 NumPy 数据或者使用 DataLoader 及其相关算子。 在大型工业场景下,数据加载容易成为训练的瓶颈。在其它的框架中,数据加载流水线往往作为单独的模块存在,需要针对不同场景进行调整,通用性 阅读全文
posted @ 2021-02-16 06:47 吴建明wujianming 阅读(145) 评论(0) 推荐(0) 编辑
摘要:C++ 扩展 Op 本文将介绍如何使用 C++ 扩展 Op,与用 Python 扩展 Op 相比,使用 C++ 扩展 Op,更加灵活、可配置的选项更多,且支持使用 GPU 作为计算设备。一般可使用 Python 扩展 Op 用于快速预研,使用 C++ 扩展 Op 追求高性能。 使用 Python 扩 阅读全文
posted @ 2021-02-16 06:42 吴建明wujianming 阅读(326) 评论(0) 推荐(0) 编辑
摘要:Python 扩展 Op 注意 :本文涉及的 Python Kernel 仅在 gcc 4.8.5 编译环境下充分测试,进一步的完善计划见 Issue 3951。 背景介绍 OneFlow 将各种对于数据的处理都抽象成了算子(operator),简称 op。 op 是作用在输入 tensor 上的操 阅读全文
posted @ 2021-02-16 06:27 吴建明wujianming 阅读(386) 评论(0) 推荐(0) 编辑
摘要:VS Code 调试 OneFlow 本文介绍如何配置 VS Code,搭建 OneFlow 的 GUI 开发环境。 如果对于 VS Code 及其插件系统还不熟悉,可以参阅官方文档。 本文包括: 如何编译 Debug 版本的 OneFlow 远程调试所必需的 VS Code 插件的安装配置 编译 阅读全文
posted @ 2021-02-16 06:20 吴建明wujianming 阅读(154) 评论(0) 推荐(0) 编辑
摘要:运行时数据获取 OneFlow 提供了 oneflow.watch 与 oneflow.watch_diff 接口,可以通过他们注册回调函数,以方便在作业函数运行过程中获取张量数据或梯度。 使用流程 想要获取作业函数运行时的数据或者梯度,其基本流程如下: 编写回调函数,回调函数的参数需要用注解方式表 阅读全文
posted @ 2021-02-16 06:08 吴建明wujianming 阅读(71) 评论(0) 推荐(0) 编辑
摘要:OFRecord 图片文件制数据集 在 OFRecord 数据格式 和 加载与准备 OFRecord 数据集 中,分别学习了 OFRecord 数据格式,以及如何将其它数据集转为 OFRecord 数据集并使用。 本文介绍如何将图片文件制作为 OFRecord 数据集,并提供了相关的制作脚本,方便用 阅读全文
posted @ 2021-02-16 06:05 吴建明wujianming 阅读(91) 评论(0) 推荐(0) 编辑
摘要:OFRecord 数据集加载 在数据输入一文中知道了使用 DataLoader 及相关算子加载数据,往往效率更高,并且学习了如何使用 DataLoader 及相关算子。 在 OFrecord 数据格式中,学习了 OFRecord 文件的存储格式。 本文,将围绕 OneFlow 的 OFRecord 阅读全文
posted @ 2021-02-16 05:58 吴建明wujianming 阅读(51) 评论(0) 推荐(0) 编辑
摘要:OFRecord 数据格式 深度学习应用需要复杂的多阶段数据预处理流水线,数据加载是流水线的第一步,OneFlow 支持多种格式数据的加载,其中 OFRecord 格式是 OneFlow 原生的数据格式。 OFRecord 的格式定义参考了 TensorFlow 的 TFRecord,熟悉 TFRe 阅读全文
posted @ 2021-02-16 05:52 吴建明wujianming 阅读(83) 评论(0) 推荐(0) 编辑
摘要:OneFlow 并行特色 在 Consistent 与 Mirrored 视角中,已经知道 OneFlow 提供了 mirrored 与 consistent 两种看待分布式系统的视角,并且提前知道了 OneFlow 的 consistent 视角颇具特色。 因为在 consistent_view  阅读全文
posted @ 2021-02-16 05:47 吴建明wujianming 阅读(105) 评论(0) 推荐(0) 编辑
摘要:Consistent 与 Mirrored 视角 在进行分布式训练时,OneFlow 框架提供了两种角度看待数据与模型的关系,被称作 consistent 视角与 mirrored 视角。 本文将介绍: 数据并行与模型并行的区别及适用场景 在分布式任务中采用 mirrored 视角及其特点 在分布式 阅读全文
posted @ 2021-02-15 07:16 吴建明wujianming 阅读(114) 评论(0) 推荐(0) 编辑
摘要:作业函数的定义与调用 在 OneFlow 中,将训练、预测任务封装在一个函数中,统称为作业函数(job function),作业函数联系用户的业务逻辑与 OneFlow 管理的计算资源。 在 OneFlow 中,被 @oneflow.global_function 装饰器所修饰的 python 函数 阅读全文
posted @ 2021-02-15 07:03 吴建明wujianming 阅读(157) 评论(0) 推荐(0) 编辑
摘要:OneFlow 概念清单 本文将对 OneFlow 中涉及到的,常用的一些概念/名词做一个概括性的解释。主要内容针对算法工程师和框架开发者分为以下两部分: 算法开发 框架开发 在算法开发部分,将解释深度学习算法开发过程中常用的一些概念和名词,而在框架开发部分,则侧重于介绍 OneFlow 框架内部设 阅读全文
posted @ 2021-02-15 06:56 吴建明wujianming 阅读(419) 评论(0) 推荐(0) 编辑
摘要:分布式训练 深度学习中,越来越多的场景需要分布式训练。由于分布式系统面临单机单卡所没有的分布式任务调度、复杂的资源并行等问题,因此,通常情况下,分布式训练对用户有一定的技术门槛。 在 OneFlow 中,通过顶层设计与工程创新,做到了 分布式最易用,用户不需要特别改动网络结构和业务逻辑代码,就可以方 阅读全文
posted @ 2021-02-15 06:47 吴建明wujianming 阅读(676) 评论(0) 推荐(0) 编辑
摘要:模型的加载与保存 对于模型的加载与保存,常用的场景有: 将已经训练一段时间的模型保存,方便下次继续训练 将训练好的模型保存,方便后续直接部署使用 严格来说,尚未训练好的模型的保存,称为 checkpoint 或者 snapshot 。与保存已训练好的模型(model saving) ,在概念上,略有 阅读全文
posted @ 2021-02-15 06:43 吴建明wujianming 阅读(344) 评论(0) 推荐(0) 编辑
摘要:获取作业函数的结果 本文主要介绍如何在 OneFlow 中获取作业函数的返回结果,主要包括: 如何同步方式获取作业函数的结果 如何异步方式获取作业函数的结果 在 OneFlow 中,被 @flow.global_function 装饰器修饰的函数定义称为作业函数,作业函数可以用于训练或预测。通过指定 阅读全文
posted @ 2021-02-15 06:35 吴建明wujianming 阅读(69) 评论(0) 推荐(0) 编辑
摘要:配置优化算法和超参 当搭建好神经网络模型后,需要经过训练才能用来做预测。而训练的过程就是网络模型中的参数被优化的过程,通常采用反向传播算法和指定的 Optimizer 更新参数,本文重点介绍在 OneFlow 中如何设置 Optimizer 和 超参(Hyperparameters) 。 文章主要内 阅读全文
posted @ 2021-02-15 06:28 吴建明wujianming 阅读(90) 评论(0) 推荐(0) 编辑
摘要:使用OneFlow搭建神经网络 在 识别 MNIST 手写体数字 的例子中,通过 flow.layers 和 flow.nn 中提供的接口搭建了一个简单的 LeNet 网络。下面,将通过LeNet来介绍 Onflow 中网络搭建的核心元素—算子(op)和层(layer)。 LeNet 是一个主要由卷 阅读全文
posted @ 2021-02-15 06:24 吴建明wujianming 阅读(96) 评论(0) 推荐(0) 编辑
摘要:数据输入 深度学习是一种数据驱动的技术,为了兼顾易用性与效率, OneFlow 提供了两种“喂”数据给神经网络的方法: 一种方法,可以直接将 NumPy ndarray 对象作为参数传递给作业函数。也就是说 OneFlow 能够直接使用 NumPy 数据作为输入。 另外一种方法是使用 OneFlow 阅读全文
posted @ 2021-02-15 06:14 吴建明wujianming 阅读(282) 评论(0) 推荐(0) 编辑
摘要:OneFlow系统设计 本文的主要内容如下: OneFlow 的设计目标 OneFlow 的特色一:Actor 机制 OneFlow 的特色二:SBP 机制 总结 一、OneFlow 的设计目标 OneFlow 的设计目标是追求极致的性能,特别是分布式多机多卡环境下的横向扩展性,希望能让用户使用多机 阅读全文
posted @ 2021-02-15 06:08 吴建明wujianming 阅读(423) 评论(0) 推荐(0) 编辑
摘要:3DPytorch-API NVIDIA Kaolin NVIDIA Kaolin library provides a PyTorch API for working with a variety of 3D representations and includes a growing colle 阅读全文
posted @ 2021-02-14 09:45 吴建明wujianming 阅读(306) 评论(0) 推荐(0) 编辑
摘要:Amazon SageMaker和NVIDIA NGC加速AI和ML工作流 从自动驾驶汽车到药物发现,人工智能正成为主流,并迅速渗透到每个行业。但是,开发和部署AI应用程序是一项具有挑战性的工作。该过程要求通过组合硬件,软件和复杂的工作流程来构建可伸缩的基础结构,这既耗时又容易出错。为了加速端到端的 阅读全文
posted @ 2021-02-14 09:26 吴建明wujianming 阅读(271) 评论(0) 推荐(0) 编辑
摘要:将Tensor核心引入标准Fortran 调优的数学库是从HPC系统提取最终性能的一种简单而可靠的方法。但是,对于寿命长的应用程序或需要在各种平台上运行的应用程序,为每个供应商或库版本调整库调用可能是维护的噩梦。 可以自动生成对调优数学库的调用的编译器为提供了两全其美的优势:易于移植和终极性能。在本 阅读全文
posted @ 2021-02-14 08:58 吴建明wujianming 阅读(306) 评论(0) 推荐(0) 编辑
摘要:NVIDIA DeepStream 5.0构建智能视频分析应用程序 无论是要平衡产品分配和优化流量的仓库,工厂流水线检查还是医院管理,要确保员工和护理人员在照顾病人的同时使用个人保护设备(PPE),就可以实现高级智能视频分析(IVA)有用。 在基础层,全球在城市,体育馆,工厂和医院中部署了数十亿个摄 阅读全文
posted @ 2021-02-14 08:52 吴建明wujianming 阅读(1574) 评论(0) 推荐(0) 编辑
摘要:自动编码机更像是一个识别网络,只是简单重构了输入。而重点应是在像素级重构图像,施加的唯一约束是隐藏层单元的数量。 有趣的是,像素级重构并不能保证网络将从数据集中学习抽象特征,但是可以通过添加更多的约束确保网络从数据集中学习抽象特征。 稀疏自编码器(又称稀疏自动编码机)中,重构误差中添加了一个稀疏惩罚 阅读全文
posted @ 2021-02-14 07:56 吴建明wujianming 阅读(316) 评论(0) 推荐(0) 编辑
摘要:由 Hinton 提出的标准自动编码机(标准自编码器)只有一个隐藏层,隐藏层中神经元的数量少于输入(和输出)层中神经元的数量,这会压缩网络中的信息,因此可以将隐藏层看作是一个压缩层,限定保留的信息。 自动编码机的学习包括在隐藏层上对输入信号进行压缩表示,然后在输出层尽可能地复现原始输入: 图 1 单 阅读全文
posted @ 2021-02-14 07:37 吴建明wujianming 阅读(178) 评论(0) 推荐(0) 编辑
摘要:变分自编码器(VAE)组合了神经网络和贝叶斯推理这两种最好的方法,是最酷的神经网络,已经成为无监督学习的流行方法之一。 变分自编码器是一个扭曲的自编码器。同自编码器的传统编码器和解码器网络一起,具有附加的随机层。 编码器网络之后的随机层使用高斯分布对数据进行采样,而解码器网络之后的随机层使用伯努利分 阅读全文
posted @ 2021-02-14 06:39 吴建明wujianming 阅读(357) 评论(0) 推荐(0) 编辑
摘要:每次 TensorFlow 运算都被描述成计算图的形式,允许结构和运算操作配置所具备的自由度能够被分配到各个分布式节点上。计算图可以分成多个子图,分配给服务器集群中的不同节点。 强烈推荐读者阅读论文“Large Scale Distributed Deep Networks”,本文的一个重要成果是证 阅读全文
posted @ 2021-02-14 06:28 吴建明wujianming 阅读(265) 评论(0) 推荐(0) 编辑
摘要:本文介绍有关 TensorFlow 分布式的两个实际用例,分别是数据并行(将数据分布到多个 GPU 上)和多服务器分配。 玩转分布式TensorFlow:多个GPU和一个CPU展示一个数据并行的例子,其中数据被切分到多个 GPU 上。具体做法考虑在单个 GPU 上运行矩阵乘法的这段代码: 通过图内拷 阅读全文
posted @ 2021-02-14 06:15 吴建明wujianming 阅读(567) 评论(0) 推荐(0) 编辑
摘要:TensorFlow分布式在Amazon AWS上运行 Amazon AWS 提供采用 NVIDIA K8 GPU 的 P2.x 机器。为了能够使用,第一步还需要创建一个 Amazon AWS 账户,如果还没有,可以使用链接https://portal.aws.amazon.com/billing/ 阅读全文
posted @ 2021-02-14 06:01 吴建明wujianming 阅读(88) 评论(0) 推荐(0) 编辑
摘要:在C++中加载TorchScript模型 本教程已更新为可与PyTorch 1.2一起使用 顾名思义,PyTorch的主要接口是Python编程语言。尽管Python是合适于许多需要动态性和易于迭代的场景,并且是首选的语言,但同样的,在 许多情况下,Python的这些属性恰恰是不利的。后者通常适用的 阅读全文
posted @ 2021-02-13 08:29 吴建明wujianming 阅读(655) 评论(0) 推荐(1) 编辑
摘要:通过带Flask的REST API在Python中部署PyTorch 在本文中,将使用Flask来部署PyTorch模型,并用讲解用于模型推断的 REST API。特别是,将部署一个预训练的DenseNet 121模 型来检测图像。 备注: 可在GitHub上获取本文用到的完整代码 这是在生产中部署 阅读全文
posted @ 2021-02-13 08:22 吴建明wujianming 阅读(362) 评论(0) 推荐(1) 编辑
摘要:使用ONNX将模型转移至Caffe2和移动端 本文介绍如何使用 ONNX 将 PyTorch 中定义的模型转换为 ONNX 格式,然后将其加载到 Caffe2 中。一旦进入 Caffe2, 就可以运行模型来仔细检查它是否正确导出,然后展示了如何使用 Caffe2 功能(如移动导出器)在移动设备上执行 阅读全文
posted @ 2021-02-13 08:17 吴建明wujianming 阅读(388) 评论(0) 推荐(0) 编辑
摘要:AI框架类FAQ 数据处理 问题:如何在训练过程中高效读取数量很大的数据集? 答复:当训练时使用的数据集数据量较大或者预处理逻辑复杂时,如果串行地进行数据读取,数据读取往往会成为训练效率的瓶颈。这种情况下通常需要利用多线程或者多进程的方法异步地进行数据载入,从而提高数据读取和整体训练效率。 padd 阅读全文
posted @ 2021-02-13 07:47 吴建明wujianming 阅读(247) 评论(0) 推荐(0) 编辑
摘要:Paddle Release Note 重要更新 飞桨paddle框架2.0.0版本有如下重要更新: 编程范式:默认开启动态图模式进行模型开发和训练,通过动转静的方式进行模型部署和训练加速。如果需要使用静态图编程范式,可以通过paddle.enable_static()来切换到静态图模式。 API体 阅读全文
posted @ 2021-02-13 07:31 吴建明wujianming 阅读(509) 评论(0) 推荐(0) 编辑
摘要:如何在框架外部自定义C++ OP 通常,如果PaddlePaddle的Operator(OP)库中没有所需要的操作,建议先尝试使用已有的OP组合,如果无法组合出您需要的操作,可以尝试使用paddle.static.py_func,也可以按照这篇教程自定义C++ OP。当然,如果用若干OP组合出来的O 阅读全文
posted @ 2021-02-13 07:06 吴建明wujianming 阅读(254) 评论(0) 推荐(0) 编辑
摘要:如何写新的Python OP Paddle 通过 py_func 接口支持在Python端自定义OP。 py_func的设计原理在于Paddle中的Tensor可以与numpy数组可以方便的互相转换,从而可以使用Python中的numpy API来自定义一个Python OP。 py_func接口概 阅读全文
posted @ 2021-02-13 07:00 吴建明wujianming 阅读(371) 评论(0) 推荐(0) 编辑
摘要:C++ OP相关注意事项 Paddle中Op的构建逻辑 1.Paddle中Op的构建逻辑 Paddle中所有的Op都继承自OperatorBase,且所有的Op都是无状态的,每个Op包含的成员变量只有四个:type、inputs、outputs、attribute。 Op的核心方法是Run,Run方 阅读全文
posted @ 2021-02-13 06:54 吴建明wujianming 阅读(275) 评论(0) 推荐(0) 编辑
摘要:如何写新的C++ OP 概念简介 简单介绍需要用到基类,详细介绍请参考设计文档。 framework::OperatorBase: Operator(简写,Op)基类。 framework::OpKernel: Op计算函数的基类,称作Kernel。 framework::OperatorWithK 阅读全文
posted @ 2021-02-13 06:37 吴建明wujianming 阅读(666) 评论(0) 推荐(0) 编辑
摘要:PaddleSlim是一个模型压缩工具库,包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略。 对于业务用户,PaddleSlim提供完整的模型压缩解决方案,可用于图像分类、检测、分割等各种类型的视觉场景。 同时也在持续探索NLP领域模型的压缩方案。另外,PaddleSli 阅读全文
posted @ 2021-02-13 06:23 吴建明wujianming 阅读(314) 评论(0) 推荐(0) 编辑
摘要:AI框架外部用户贡献代码 概述 飞桨是百度自主研发的一款开源的深度学习框架,是主流深度学习框架中首个完全国产化的产品,已经在农业、医疗、林业、科研、服务等领域成功应用。无论是已入职场的深度学习从业者、爱好者,亦或是在校学生,百度飞桨非常欢迎大家能够在开源生态Github中贡献代码,与实时分享项目的成 阅读全文
posted @ 2021-02-12 09:45 吴建明wujianming 阅读(215) 评论(0) 推荐(0) 编辑
摘要:AI框架精要:设计思想 本文主要介绍飞桨paddle平台的底层设计思想,可以帮助用户理解飞桨paddle框架的运作过程,以便于在实际业务需求中,更好的完成模型代码编写与调试及飞桨paddle框架的二次开发。 从编程范式上说,飞桨paddle兼容支持声明式编程和命令式编程,通俗地讲就是,静态图和动态图 阅读全文
posted @ 2021-02-12 09:28 吴建明wujianming 阅读(369) 评论(0) 推荐(0) 编辑
摘要:Paddle Lite端侧部署 端侧推理引擎的由来 随着深度学习的快速发展、特别是小型网络模型的不断成熟,原本应用到云端的深度学习推理,就可以放到终端上来做,比如手机、手表、摄像头、传感器、音响,也就是端智能。此外,可用于深度学习计算的硬件也有井喷之势,从Intel到Nvidia、ARM、Mali, 阅读全文
posted @ 2021-02-12 09:10 吴建明wujianming 阅读(2146) 评论(0) 推荐(0) 编辑
摘要:参数服务器训练基本理论 参数服务器训练是分布式训练领域普遍采用的编程架构,主要解决以下两类问题: 模型参数过大:单机内存空间不足,需要采用分布式存储。 训练数据过多:单机训练太慢,需要加大训练节点,来提高并发训练速度。 如图所示,参数服务器主要包含Server和Worker两个部分,其中Server 阅读全文
posted @ 2021-02-12 08:32 吴建明wujianming 阅读(1152) 评论(0) 推荐(0) 编辑
摘要:多机多卡训练基本原理 在工业实践中,许多较复杂的任务需要使用更强大的模型。强大模型加上海量的训练数据,经常导致模型训练耗时严重。比如在计算机视觉分类任务中,训练一个在ImageNet数据集上精度表现良好的模型,大概需要一周的时间,需要不断尝试各种优化的思路和方案。如果每次训练均要耗时1周,这会大大降 阅读全文
posted @ 2021-02-12 08:05 吴建明wujianming 阅读(1427) 评论(0) 推荐(0) 编辑
摘要:分布式训练基本原理 近十年来,深度学习技术不断刷新视觉、自然语言、语音、搜索、推荐等领域各种任务的纪录。这其中的原因,用一个关键词描述就是“大规模”。大规模的数据使得模型有足够的知识可以记忆,大规模参数量的模型使得模型本身有能力记忆更多的数据,大规模高性能的算力(以GPU为典型代表)使得模型的训练速 阅读全文
posted @ 2021-02-12 07:44 吴建明wujianming 阅读(2153) 评论(0) 推荐(0) 编辑
摘要:服务化部署框架Paddle Serving 概述 常见的深度学习模型开发流程需要经过问题定义、数据准备、特征提取、建模、训练过程,以及最后一个环——将训练出来的模型部署应用到实际业务中。如图1所示,当前用户在训练出一个可用的模型后,可以选择如下四种部署应用方式: 服务器端高性能部署:将模型部署在服务 阅读全文
posted @ 2021-02-12 07:10 吴建明wujianming 阅读(4851) 评论(0) 推荐(0) 编辑
摘要:Paddle Inference原生推理库 深度学习一般分为训练和推理两个部分,训练是神经网络“学习”的过程,主要关注如何搜索和求解模型参数,发现训练数据中的规律,生成模型。有了训练好的模型,就要在线上环境中应用模型,实现对未知数据做出推理,这个过程在AI领域叫做推理部署。用户可以选择如下四种部署应 阅读全文
posted @ 2021-02-12 06:36 吴建明wujianming 阅读(1684) 评论(0) 推荐(0) 编辑
摘要:源码编译优化 深度学习的发展十分迅速,对科研或工程人员来说,可能会遇到一些需要自己开发op的场景,可以在python层面编写op,但如果对性能有严格要求的话,必须在C++层面开发op,对于这种情况,需要用户源码编译飞桨paddle,使之生效。 此外对于绝大多数使用C++将模型部署上线的工程人员来说, 阅读全文
posted @ 2021-02-12 05:54 吴建明wujianming 阅读(242) 评论(0) 推荐(0) 编辑
摘要:推理部署概述 人工智能算法的重要能力,是可对未知的新数据做出预测,而所依据的则是在已知数据上训练出的模型。因为这个过程与人面对问题时依据经验思考推导后得出结论相类似,所以在人工智能领域又被称为推理(Inference)。 所以对于深度学习而言,训练和推理是两个不同的行为。将新数据输入训练得到的模型, 阅读全文
posted @ 2021-02-12 05:38 吴建明wujianming 阅读(478) 评论(0) 推荐(0) 编辑
摘要:深度学习模型组网 完成数据集的构建后,需要构建网络模型。首先介绍飞桨组网相关的API,主要是paddle.nn下的API介绍,然后介绍动态图下飞桨框架支持的两种组网方式,分别为 Sequential 组网与 SubClass 组网,最后,介绍飞桨框架内置的算法模型。 一、paddle.nn 简介 飞 阅读全文
posted @ 2021-02-11 09:15 吴建明wujianming 阅读(393) 评论(0) 推荐(0) 编辑
摘要:深度学习数据预处理 训练过程中有时会遇到过拟合的问题,其中一个解决方法就是对训练数据做增强,对数据进行处理得到不同的图像,从而泛化数据集。数据增强API是定义在领域目录的transofrms下,这里介绍两种使用方式,一种是基于框架内置数据集,一种是基于自定义的数据集。 一、飞桨框架内置数据集 针对飞 阅读全文
posted @ 2021-02-11 09:10 吴建明wujianming 阅读(439) 评论(0) 推荐(0) 编辑
摘要:深度学习数据集定义与加载 深度学习模型在训练时需要大量的数据来完成模型调优,这个过程均是数字的计算,无法直接使用原始图片和文本等来完成计算。因此与需要对原始的各种数据文件进行处理,转换成深度学习模型可以使用的数据类型。 一、框架自带数据集 飞桨框架将深度学习任务中常用到的数据集作为领域API开放,对 阅读全文
posted @ 2021-02-11 09:05 吴建明wujianming 阅读(683) 评论(0) 推荐(0) 编辑
摘要:广播 (broadcasting) 飞桨(PaddlePaddle,以下简称Paddle)和其他框架一样,提供的一些API支持广播(broadcasting)机制,允许在一些运算时使用不同形状的张量。 通常来讲,如果有一个形状较小和一个形状较大的张量,希望多次使用较小的张量来对较大的张量执行一些操作 阅读全文
posted @ 2021-02-11 08:58 吴建明wujianming 阅读(915) 评论(0) 推荐(0) 编辑
摘要:Tensor基础实践 飞桨(PaddlePaddle,以下简称Paddle)和其他深度学习框架一样,使用Tensor来表示数据,在神经网络中传递的数据均为Tensor。 Tensor可以将其理解为多维数组,其可以具有任意多的维度,不同Tensor可以有不同的数据类型 (dtype) 和形状 (sha 阅读全文
posted @ 2021-02-11 08:47 吴建明wujianming 阅读(224) 评论(0) 推荐(0) 编辑
摘要:Paddle预训练模型应用工具PaddleHub 本文主要介绍如何使用飞桨预训练模型管理工具PaddleHub,快速体验模型以及实现迁移学习。建议使用GPU环境运行相关程序,可以在启动环境时,如下图所示选择“高级版”环境即可。 如果没有算力卡资源可以点击链接申请。 概述 首先提个问题,请问十行Pyt 阅读全文
posted @ 2021-02-11 08:03 吴建明wujianming 阅读(2462) 评论(0) 推荐(0) 编辑
摘要:人工智能、机器学习、深度学习的关系 近些年人工智能、机器学习和深度学习的概念十分火热,但很多从业者却很难说清它们之间的关系。在研究深度学习之前,先从三个概念的正本清源开始。 概括来说,人工智能、机器学习和深度学习覆盖的技术范畴是逐层递减的。人工智能是最宽泛的概念。机器学习是当前比较有效的一种实现人工 阅读全文
posted @ 2021-02-11 07:19 吴建明wujianming 阅读(3101) 评论(0) 推荐(0) 编辑
摘要:Paddle概述 本文结合深度学习理论与实践,使用百度飞桨平台实现自然语言处理、计算机视觉及个性化推荐等领域的经典应用。 实践部分使用飞桨深度学习开源框架,适配最新的2.0版本,默认使用动态图编程范式。 图1:零基础实践深度学习 内容特色 特色一:理论和代码结合、实践与平台结合,帮助快速掌握深度学习 阅读全文
posted @ 2021-02-11 06:55 吴建明wujianming 阅读(534) 评论(0) 推荐(0) 编辑
摘要:Jittor框架API 这里是Jittor主模块的API文档,可以通过import jittor来获取该模块。 classjittor.ExitHooks exc_handler(exc_type, exc, *args) exit(code=0) hook() classjittor.Functi 阅读全文
posted @ 2021-02-11 06:25 吴建明wujianming 阅读(308) 评论(0) 推荐(0) 编辑
摘要:DeepLabV3+语义分割实战 语义分割是计算机视觉的一项重要任务,本文使用Jittor框架实现了DeepLabV3+语义分割模型。 DeepLabV3+论文:https://arxiv.org/pdf/1802.02611.pdf 完整代码:https://github.com/Jittor/d 阅读全文
posted @ 2021-02-11 06:15 吴建明wujianming 阅读(382) 评论(0) 推荐(0) 编辑
摘要:Megengine量化 量化指的是将浮点数模型(一般是32位浮点数)的权重或激活值用位数更少的数值类型(比如8位整数、16位浮点数)来近似表示的过程。 量化后的模型会占用更小的存储空间,还能够利用许多硬件平台上的专属算子进行提速。比如在 MegEngine 中使用8位整数来进行量化,相比默认的32位 阅读全文
posted @ 2021-02-10 11:01 吴建明wujianming 阅读(463) 评论(0) 推荐(0) 编辑
摘要:腾讯 angel 3.0:高效处理模型 紧跟华为宣布新的 AI 框架开源的消息,腾讯又带来了全新的全栈机器学习平台 angel3.0。新版本功能特性覆盖了机器学习的各个阶段,包括:特征工程、模型训练、超参数调节和模型服务。自 2017 年 angel1.0 在 Github 上开源以来,angel 阅读全文
posted @ 2021-02-10 10:20 吴建明wujianming 阅读(294) 评论(0) 推荐(0) 编辑
摘要:深度树匹配模型(TDM) 算法介绍 Tree-based Deep Match(TDM)是由阿里妈妈精准定向广告算法团队自主研发,基于深度学习上的大规模(千万级+)推荐系统算法框架。在大规模推荐系统的实践中,基于商品的协同过滤算法(Item-CF)是应用较为广泛的,而受到图像检索的启发,基于内积模型 阅读全文
posted @ 2021-02-10 09:52 吴建明wujianming 阅读(1496) 评论(0) 推荐(0) 编辑
摘要:X-Deep Learning功能模块 特征体系 样本 特征 网络 数据准备 样本格式 使用DataReader读取数据 自定义python reader 定义模型 稀疏部分 稠密部分 优化器 训练模型 单机训练 分布式训练 同步及半同步训练 ID准入和ID退出 保存及恢复模型变量 模型评估 模型评 阅读全文
posted @ 2021-02-10 08:06 吴建明wujianming 阅读(363) 评论(0) 推荐(0) 编辑
摘要:XLearning - 深度学习调度平台 软件简介 XLearning **** 是奇虎 360 开源的一款支持多种机器学习、深度学习框架调度系统。基于 Hadoop Yarn 完成了对TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost 等常用框架 阅读全文
posted @ 2021-02-10 07:23 吴建明wujianming 阅读(194) 评论(0) 推荐(0) 编辑
摘要:Jittor实现Conditional GAN Generative Adversarial Nets(GAN)提出了一种新的方法来训练生成模型。然而,GAN对于要生成的图片缺少控制。Conditional GAN(CGAN)通过添加显式的条件或标签,来控制生成的图像。本文讲解了CGAN的网络结构、 阅读全文
posted @ 2021-02-10 07:12 吴建明wujianming 阅读(340) 评论(0) 推荐(0) 编辑
摘要:计图(Jittor) 1.1版本:新增骨干网络、JIT功能升级、支持多卡训练 深度学习框架—计图(Jittor),Jittor的新版本V1.1上线了。主要变化包括: 增加了大量骨干网络的支持,增强了辅助转换脚本的能力,降低用户开发和移植模型的难度。 JIT(动态编译)功能升级,可支持高性能的自定义算 阅读全文
posted @ 2021-02-10 06:56 吴建明wujianming 阅读(405) 评论(0) 推荐(0) 编辑
摘要:计图点云库 已经实现的模型 Model Classification Segmentation PointNet √ √ PointNet ++ √ √ PointCNN √ √ DGCNN √ √ PointConv √ √ 使用方法 安装依赖 sudo apt install python3.7 阅读全文
posted @ 2021-02-10 06:30 吴建明wujianming 阅读(290) 评论(0) 推荐(0) 编辑
摘要:计图MPI分布式多卡 计图分布式基于MPI(Message Passing Interface),主要阐述使用计图MPI,进行多卡和分布式训练。目前计图分布式处于测试阶段。 计图MPI安装 计图依赖OpenMPI,用户可以使用如下命令安装OpenMPI: sudo apt install openm 阅读全文
posted @ 2021-02-10 06:22 吴建明wujianming 阅读(225) 评论(0) 推荐(0) 编辑
摘要:自定义算子高性能开发 在计图中,一共有三种方法来开发自定义的算子: 使用元算子进行组合。 使用Code算子开发自定义算子。 使用计图编译器编译自定义的模块和custom op。 其中,元算子开发是最为简单的, 但不免有些情况存在元算子表达能力不足。可以使用Code算子进行开发,Code算子在保持了开 阅读全文
posted @ 2021-02-10 06:11 吴建明wujianming 阅读(428) 评论(0) 推荐(0) 编辑
摘要:pytorch生成对抗示例 本文对ML(机器学习)模型的安全漏洞的认识,并将深入了解对抗性机器学习的热门话题。图像添加难以察觉的扰动会导致模型性能大不相同。通过图像分类器上的示例探讨该主题。使用第一种也是最流行的攻击方法之一,即快速梯度符号攻击算法(FGSM)来迷惑 MNIST 分类器。 1.威胁模 阅读全文
posted @ 2021-02-09 22:32 吴建明wujianming 阅读(452) 评论(0) 推荐(0) 编辑
摘要:PyTorch 进行 Neural-Transfer 1.简介 本文讲解如何实现由 Leon A. Gatys,Alexander S. Ecker和Matthias Bethge提出的Neural-Style 算法。Neural-Style 或者叫 Neural-Transfer,使用一种新的风格 阅读全文
posted @ 2021-02-09 21:59 吴建明wujianming 阅读(109) 评论(0) 推荐(0) 编辑
摘要:pytorch空间变换网络 本文将学习如何使用称为空间变换器网络的视觉注意机制来扩充网络。可以在DeepMind paper 阅读更多有关空间变换器网络的内容。 空间变换器网络是对任何空间变换的差异化关注的概括。空间变换器网络(简称STN)允许神经网络学习如何在输入图像上执行空间变换, 以增强模型的 阅读全文
posted @ 2021-02-09 21:38 吴建明wujianming 阅读(148) 评论(0) 推荐(0) 编辑
摘要:Jittor 的Op, Var算子 要使用jittor训练模型,需要了解两个主要概念: Var:Jittor的基本数据类型 Operations:Jittor的算子与numpy类似 首先,开始使用Var。Var是jittor的基本数据类型,为了运算更加高效Jittor中的计算过程是异步的。如果要访问 阅读全文
posted @ 2021-02-09 07:08 吴建明wujianming 阅读(152) 评论(0) 推荐(0) 编辑
摘要:元算子卷积层实现 元算子是jittor的关键概念,元算子的层次结构如下所示。 元算子由重索引算子,重索引化简算子和元素级算子组成。重索引算子,重索引化简算子都是一元算子。 重索引算子是其输入和输出之间的一对多映射。重索引简化算子是多对一映射。广播,填补, 切分算子是常见的重新索引算子。 而化简,累乘 阅读全文
posted @ 2021-02-09 07:01 吴建明wujianming 阅读(133) 评论(0) 推荐(0) 编辑
摘要:Caffe实现概述 目录 一、caffe配置文件介绍 二、标准层的定义 三、网络微调技巧 四、Linux脚本使用及LMDB文件生成 五、带你设计一个Caffe网络,用于分类任务 一、caffe配置文件介绍 二、标准层的定义 三、网络微调技巧 其中,multistep最为常用 四、Linux脚本使用及 阅读全文
posted @ 2021-02-09 06:44 吴建明wujianming 阅读(300) 评论(0) 推荐(0) 编辑
摘要:Halide视觉神经网络优化 概述 Halide是用C++作为宿主语言的一个图像处理相关的DSL(Domain Specified Language)语言,全称领域专用语言。主要的作用为在软硬层面上(与算法本身的设计无关)实现对算法的底层加速,有必要对其有一定的了解。因为不论是传统的图像处理方法亦或 阅读全文
posted @ 2021-02-09 06:14 吴建明wujianming 阅读(331) 评论(0) 推荐(0) 编辑
摘要:旷视MegEngine数据加载与处理 在网络训练与测试中,数据的加载和预处理往往会耗费大量的精力。 MegEngine 提供了一系列接口来规范化这些处理工作。 利用 Dataset 封装一个数据集 数据集是一组数据的集合,例如 MNIST、Cifar10等图像数据集。 Dataset 是 MegEn 阅读全文
posted @ 2021-02-08 07:06 吴建明wujianming 阅读(181) 评论(0) 推荐(0) 编辑
摘要:旷视MegEngine网络搭建 在 基本概念 中,介绍了计算图、张量和算子,神经网络可以看成一个计算图。在 MegEngine 中,按照计算图的拓扑结构,将张量和算子连接起来,即可完成对网络的搭建。MegEngine 提供了基于 functional 和基于 Module 的两种方式搭建网络。 fu 阅读全文
posted @ 2021-02-08 06:55 吴建明wujianming 阅读(166) 评论(0) 推荐(0) 编辑
摘要:旷视MegEngine基本概念 MegEngine 是基于计算图的深度神经网络学习框架。 本文简要介绍计算图及其相关基本概念,以及它们在 MegEngine 中的实现。 计算图(Computational Graph) 下面通过一个简单的数学表达式 y=(w∗x)+by=(w∗x)+b 来介绍计算图 阅读全文
posted @ 2021-02-08 06:50 吴建明wujianming 阅读(457) 评论(0) 推荐(0) 编辑
摘要:Torchvision模型微调 本文将深入探讨如何对 torchvision 模型进行微调和特征提取,所有这些模型都已经预先在1000类的magenet数据集上训练完成。将深入介绍如何使用几个现代的CNN架构,并将直观展示如何微调任意的PyTorch模型。由于每个模型架构是有差异的,因此没有可以在所 阅读全文
posted @ 2021-02-08 06:29 吴建明wujianming 阅读(445) 评论(0) 推荐(0) 编辑
摘要:微调torchvision 0.3的目标检测模型 本文将微调在 Penn-Fudan 数据库中对行人检测和分割的已预先训练的 Mask R-CNN 模型。它包含170个图像和345个行人实例,说明如何在 torchvision 中使用新功能,以便在自定义数据集上训练实例分割模型。 1.定义数据集 对 阅读全文
posted @ 2021-02-08 06:05 吴建明wujianming 阅读(367) 评论(0) 推荐(0) 编辑
摘要:超轻量AI引擎MindSpore Lite 揭秘一下端上的AI引擎:MindSpore Lite。 MindSpore Lite是MindSpore全场景AI框架的端侧引擎,目前MindSpore Lite作为华为HMS Core机器学习服务的推理引擎底座,已为全球1000+应用提供推理引擎服务,日 阅读全文
posted @ 2021-02-07 17:42 吴建明wujianming 阅读(582) 评论(0) 推荐(0) 编辑
摘要:MindSpore 高阶优化器 MindSpore自研优化器THOR(Trace-based Hardware-driven layer-ORiented Natural Gradient Descent Computation),该优化器在ImageNet上训练ResNet50,使用MindSpo 阅读全文
posted @ 2021-02-07 16:27 吴建明wujianming 阅读(168) 评论(0) 推荐(0) 编辑
摘要:MindSpore模型精度调优实践 引论:在模型的开发过程中,精度达不到预期常常让人头疼。为了帮助用户解决模型调试调优的问题,为MindSpore量身定做了可视化调试调优组件:MindInsight。还梳理了针对常见精度问题的调试调优指南,将以“MindSpore模型精度调优实战”系列文章的形式分享 阅读全文
posted @ 2021-02-07 15:58 吴建明wujianming 阅读(147) 评论(0) 推荐(0) 编辑
摘要:保存和加载模型 当保存和加载模型时,需要熟悉三个核心功能: torch.save:将序列化对象保存到磁盘。此函数使用Python的pickle模块进行序列化。使用此函数可以保存如模型、tensor、字典等各种对象。 torch.load:使用pickle的unpickling功能,将pickle对象 阅读全文
posted @ 2021-02-07 06:47 吴建明wujianming 阅读(304) 评论(0) 推荐(0) 编辑
摘要:混合前端seq2seq模型部署 本文介绍,如何将seq2seq模型转换为PyTorch可用的前端混合Torch脚本。要转换的模型来自于聊天机器人教程Chatbot tutorial。 1.混合前端 在一个基于深度学习项目的研发阶段, 使用像PyTorch这样即时eager、命令式的界面进行交互能带来 阅读全文
posted @ 2021-02-07 06:36 吴建明wujianming 阅读(295) 评论(0) 推荐(0) 编辑
摘要:PyTorch迁移学习 实际中,基本没有人会从零开始(随机初始化)训练一个完整的卷积网络,因为相对于网络,很难得到一个足够大的数据集[网络很深, 需要足够大数据集]。通常的做法是在一个很大的数据集上进行预训练,得到卷积网络ConvNet, 然后,将这个ConvNet的参数,作为目标任务的初始化参数, 阅读全文
posted @ 2021-02-07 06:05 吴建明wujianming 阅读(203) 评论(0) 推荐(0) 编辑
摘要:PyTorch全连接ReLU网络 1.PyTorch的核心是两个主要特征: 一个n维张量,类似于numpy,但可以在GPU上运行 搭建和训练神经网络时的自动微分/求导机制 本文将使用全连接的ReLU网络作为运行示例。该网络将有一个单一的隐藏层,并将使用梯度下降训练,通过最小化网络输出和真正结果的欧几 阅读全文
posted @ 2021-02-07 05:49 吴建明wujianming 阅读(705) 评论(0) 推荐(0) 编辑
摘要:TensorFlow文本情感分析实现 前面介绍了如何将卷积网络应用于图像。本文将把相似的想法应用于文本。 文本和图像有什么共同之处?乍一看很少。但是,如果将句子或文档表示为矩阵,则该矩阵与其中每个单元是像素的图像矩阵没有什么区别。 接下来的问题是,如何能够将文本表示为矩阵?好吧,这很简单:矩阵的每一 阅读全文
posted @ 2021-02-06 06:11 吴建明wujianming 阅读(189) 评论(0) 推荐(0) 编辑
摘要:TensorFlow创建DeepDream网络 Google 于 2014 年在 ImageNet 大型视觉识别竞赛(ILSVRC)训练了一个神经网络,并于 2015 年 7 月开放源代码。 该网络学习了每张图片的表示。低层学习低级特征,比如线条和边缘,而高层学习更复杂的模式,比如眼睛、鼻子、嘴巴等 阅读全文
posted @ 2021-02-06 05:56 吴建明wujianming 阅读(81) 评论(0) 推荐(0) 编辑
摘要:VGG16迁移学习实现 本文讨论迁移学习,它是一个非常强大的深度学习技术,在不同领域有很多应用。动机很简单,可以打个比方来解释。假设想学习一种新的语言,比如西班牙语,那么从已经掌握的另一种语言(比如英语)学起,可能是有用的。 按照这种思路,计算机视觉研究人员通常使用预训练 CNN 来生成新任务的表示 阅读全文
posted @ 2021-02-06 05:41 吴建明wujianming 阅读(684) 评论(0) 推荐(0) 编辑
摘要:PyTorch数据加载处理 PyTorch提供了许多工具来简化和希望数据加载,使代码更具可读性。 1.下载安装包 scikit-image:用于图像的IO和变换 pandas:用于更容易地进行csv解析 from __future__ import print_function, division 阅读全文
posted @ 2021-02-05 16:55 吴建明wujianming 阅读(197) 评论(0) 推荐(0) 编辑
摘要:PyTorch 数据并行处理 可选择:数据并行处理(文末有完整代码下载) 本文将学习如何用 DataParallel 来使用多 GPU。 通过 PyTorch 使用多个 GPU 非常简单。可以将模型放在一个 GPU: device = torch.device("cuda:0") model.to( 阅读全文
posted @ 2021-02-05 06:54 吴建明wujianming 阅读(267) 评论(0) 推荐(0) 编辑
摘要:PyTorch 图像分类 如何定义神经网络,计算损失值和网络里权重的更新。 应该怎么处理数据? 通常来说,处理图像,文本,语音或者视频数据时,可以使用标准 python 包将数据加载成 numpy 数组格式,然后将这个数组转换成 torch.*Tensor 对于图像,可以用 Pillow,OpenC 阅读全文
posted @ 2021-02-05 06:48 吴建明wujianming 阅读(598) 评论(0) 推荐(0) 编辑
摘要:PyTorch 神经网络 神经网络 神经网络可以通过 torch.nn 包来构建。 现在对于自动梯度(autograd)有一些了解,神经网络是基于自动梯度 (autograd)来定义一些模型。一个 nn.Module 包括层和一个方法 forward(input) 它会返回输出(output)。 例 阅读全文
posted @ 2021-02-05 06:36 吴建明wujianming 阅读(124) 评论(0) 推荐(0) 编辑
摘要:PyTorch 自动微分 autograd 包是 PyTorch 中所有神经网络的核心。首先简要地介绍,然后将会去训练的第一个神经网络。该 autograd 软件包为 Tensors 上的所有操作提供自动微分。是一个由运行定义的框架,这意味着以代码运行方式定义后向传播,并且每次迭代都可以不同。从 t 阅读全文
posted @ 2021-02-05 06:28 吴建明wujianming 阅读(129) 评论(0) 推荐(0) 编辑
摘要:3层-CNN卷积神经网络预测MNIST数字 本文创建一个简单的三层卷积网络来预测 MNIST 数字。这个深层网络由两个带有 ReLU 和 maxpool 的卷积层以及两个全连接层组成。 MNIST 由 60000 个手写体数字的图片组成。本文的目标是高精度地识别这些数字。 具体实现过程 导入 ten 阅读全文
posted @ 2021-02-05 06:10 吴建明wujianming 阅读(478) 评论(0) 推荐(0) 编辑
摘要:卷积神经网络(CNN,ConvNet) 卷积神经网络(CNN,有时被称为 ConvNet)是很吸引人的。在短时间内,变成了一种颠覆性的技术,打破了从文本、视频到语音等多个领域所有最先进的算法,远远超出了其最初在图像处理的应用范围。 CNN 由许多神经网络层组成。卷积和池化这两种不同类型的层通常是交替 阅读全文
posted @ 2021-02-05 05:53 吴建明wujianming 阅读(1136) 评论(0) 推荐(0) 编辑
摘要:TensorFlow Keras API用法 Keras 是与 TensorFlow 一起使用的更高级别的作为后端的 API。添加层就像添加一行代码一样简单。在模型架构之后,使用一行代码,可以编译和拟合模型,可以用于预测。变量声明、占位符甚至会话都由 API 管理。 具体做法 定义模型的类型。Ker 阅读全文
posted @ 2021-02-05 05:35 吴建明wujianming 阅读(236) 评论(0) 推荐(0) 编辑
摘要:MindSpore:自动微分 作为一款「全场景 AI 框架」,MindSpore 是人工智能解决方案的重要组成部分,与 TensorFlow、PyTorch、PaddlePaddle 等流行深度学习框架对标,旨在大幅度降低 AI 应用开发门槛,让人工智能无处不在。 MindSpore 是一款支持端、 阅读全文
posted @ 2021-02-04 07:14 吴建明wujianming 阅读(440) 评论(0) 推荐(0) 编辑
摘要:TensorFlow实现超参数调整 正如你目前所看到的,神经网络的性能非常依赖超参数。因此,了解这些参数如何影响网络变得至关重要。 常见的超参数是学习率、正则化器、正则化系数、隐藏层的维数、初始权重值,甚至选择什么样的优化器优化权重和偏置。 超参数调整过程 调整超参数的第一步是构建模型。与之前一样, 阅读全文
posted @ 2021-02-04 06:35 吴建明wujianming 阅读(293) 评论(0) 推荐(0) 编辑
摘要:TensorFlow实现多层感知机函数逼近 准备工作 对于函数逼近,这里的损失函数是 MSE。输入应该归一化,隐藏层是 ReLU,输出层最好是 Sigmoid。 下面是如何使用 MLP 进行函数逼近的示例: 导入需要用到的模块:sklearn,该模块可以用来获取数据集,预处理数据,并将其分成训练集和 阅读全文
posted @ 2021-02-04 06:19 吴建明wujianming 阅读(82) 评论(0) 推荐(0) 编辑
摘要:TensorFlow实现多层感知机MINIST分类 TensorFlow 支持自动求导,可以使用 TensorFlow 优化器来计算和使用梯度。使用梯度自动更新用变量定义的张量。本文将使用 TensorFlow 优化器来训练网络。 前面定义了层、权重、损失、梯度以及通过梯度更新权重。用公式实现可以帮 阅读全文
posted @ 2021-02-04 06:12 吴建明wujianming 阅读(123) 评论(0) 推荐(0) 编辑
摘要:TensorFlow反向传播算法实现 反向传播(BPN)算法是神经网络中研究最多、使用最多的算法之一,用于将输出层中的误差传播到隐藏层的神经元,然后用于更新权重。 学习 BPN 算法可以分成以下两个过程: 正向传播:输入被馈送到网络,信号从输入层通过隐藏层传播到输出层。在输出层,计算误差和损失函数。 阅读全文
posted @ 2021-02-04 05:50 吴建明wujianming 阅读(329) 评论(0) 推荐(0) 编辑
摘要:TensorFlow单层感知机实现 简单感知机是一个单层神经网络。它使用阈值激活函数,正如 Marvin Minsky 在论文中所证明的,只能解决线性可分的问题。虽然限制了单层感知机只能应用于线性可分问题,但具有学习能力已经很好了。 当感知机使用阈值激活函数时,不能使用 TensorFlow 优化器 阅读全文
posted @ 2021-02-04 05:39 吴建明wujianming 阅读(137) 评论(0) 推荐(0) 编辑
摘要:TensorFlow六种激活函数 每个神经元都必须有激活函数。神经元提供了模拟复杂非线性数据集所必需的非线性特性。该函数取所有输入的加权和,进而生成一个输出信号。把它看作输入和输出之间的转换。使用适当的激活函数,可以将输出值限定在一个定义的范围内。 如果 xi 是第 j 个输入,Wj 是连接第 j 阅读全文
posted @ 2021-02-03 21:36 吴建明wujianming 阅读(399) 评论(0) 推荐(0) 编辑
摘要:感知机神经网络 最近十年以来,神经网络一直处于机器学习研究和应用的前沿。深度神经网络(DNN)、迁移学习以及计算高效的图形处理器(GPU)的普及使得图像识别、语音识别甚至文本生成领域取得了重大进展。 神经网络受人类大脑的启发,也被称为连接模型。像人脑一样,神经网络是大量被称为权重的突触相互连接的人造 阅读全文
posted @ 2021-02-01 12:52 吴建明wujianming 阅读(424) 评论(0) 推荐(0) 编辑
摘要:TensorFlow逻辑回归处理MNIST数据集 本节基于回归学习对 MNIST 数据集进行处理,但将添加一些 TensorBoard 总结以便更好地理解 MNIST 数据集。 MNIST由https://www.tensorflow.org/get_started/mnist/beginners提 阅读全文
posted @ 2021-02-01 12:38 吴建明wujianming 阅读(129) 评论(0) 推荐(0) 编辑
摘要:多元线性回归的具体实现 导入需要的所有软件包: 因为各特征的数据范围不同,需要归一化特征数据。为此定义一个归一化函数。另外,这里添加一个额外的固定输入值将权重和偏置结合起来。为此定义函数 append_bias_reshape()。该技巧有时可有效简化编程: 现在使用 TensorFlow cont 阅读全文
posted @ 2021-02-01 12:16 吴建明wujianming 阅读(179) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示