摘要：
Colossal-AI是一个专注于大规模模型训练的深度学习系统，Colossal-AI基于PyTorch开发，旨在支持完整的高性能分布式训练生态。Colossal-AI已在GitHub上开源。 在Colossal-AI中，我们支持了不同的分布式加速方式，包括张量并行、流水线并行、零冗余数据并行、异构 阅读全文
摘要：
PyTorch Mobile网站介绍，处在Beta阶段，待API稳定之后，很快会推出稳定版。Feature包括： 为ios，Android，Linux提供支持； 提供API，涵盖将 ML 集成到移动应用中所需的常见预处理和集成任务； 通过TorchScript IR支持tracing与scripti 阅读全文
摘要：
https://blog.csdn.net/qq_32507417/article/details/107505719 阅读全文
摘要：
阅读全文
摘要：
LeNet，第一个可商用的神经网络，仅有5个卷积层，51K参数量。 MIT的韩松老师在2015年提出了一些观测：预先训练好的AlexNet、VGGNet模型中，去掉大约90%的参数，它的精度还是无损的。因此韩松老师开始提出一些模型压缩的技术。 模型蒸馏：去掉原始模型中的光流模块，帮助我们解决稳定性的 阅读全文
摘要：
isinstance() 函数来判断一个对象是否是一个已知的类型，类似 type()。 isinstance(object, classinfo) >>>a = 2 >>> isinstance (a,int) True >>> isinstance (a,str) False >>> isinst 阅读全文
摘要：
转载：https://blog.csdn.net/sinat_34072381/article/details/84104440 阅读全文
摘要：
记录通过pytorch编写cnn 模型示例，包括训练、模型、预测全流程代码结构，数据采集公共调制方式识别数据集，编写代码简单，以便进行pytorch学习。 train.py import os import numpy as np import torch import torch.nn as nn 阅读全文
摘要：
python多进程中，对于子进程的运行机制是：每个子进程中，由于不同的进程之间有独立内存，不会共享，所以每个子进程是通过分别导入所在的脚本模块来实现目标函数的运行的。对于这个机制，有以下两点需要特别注意。 1、由于每个子进程是通过导入所在脚本的模块实现模块中函数的调用的，所以，为了避免将创建子进程的 阅读全文
摘要：
在真实业务中不单单会涉及CPU计算，还有网络IO和磁盘IO处理，这些处理是非常耗时的。如果一个线程整个流程是上图的流程，真正涉及到CPU的只有2个节点，其他的节点都是IO处理，那么线程在做IO处理的时候，CPU就空闲出来了，CPU的利用率就不高。 多线程：提升CPU利用率。 最佳线程数目 = （（线 阅读全文