摘要：
0 背景 通常我们使用tensorflow访问的基本都是本地文件，亦或是给定hdfs路径，让其访问hdfs文件，而新晋的minio可很好地生成s3兼容的api接口，从而让tensorflow直接读取minio建立的分布式文件系统。本文简单基于单机minio形式讲解如何从头让tensorflow访问m 阅读全文
摘要：
联邦学习大火，主要是解决数据孤岛问题，即如何在符合数据隐私的基础上，实现多方数据不出本地，但是却能联合训练一个共有大模型的目的，对于需要中心的纵向联邦学习，是需要中心先下发公钥，而后期会出现中心能够完全掌握整个模型的情况。那么在更严格情况，AB都互不信任，C放在哪都不合适。 1 准备部分 这里以线性 阅读全文
摘要：
本人虽然研二开始接触cuda，但是终究未从事cuda开发，故而皆为零零散散的知识，虽然看了好几本cuda编程的书籍以及官网的文档（肯定没看全啊，我也不是专门从事cuda开发），市面上几乎都是关于如何cuda编程的书籍，而这些书籍中也看过不少《CUDA C编程权威指南》，《CUDA专家手册》，《CUD 阅读全文
摘要：
bandsnatch 不好用，不符合自己心意，所以自己就简单弄了个同步的 # -*- coding: utf-8 -*- import re import os import shutil import urllib import json import copy import wget impor 阅读全文
摘要：
### 1 引言 方便检索 ### 2 名词解释 **FLOPS**：“每秒浮点运算次数”，“每秒峰值速度”，是“每秒所执行的浮点运算次数”（floating-point operations per second）的缩写。所谓的“浮点运算”，实际上包括了所有涉及小数的运算。这类运算在某类应用软件中 阅读全文
摘要：
先定义几个关键字： 任务：用户一次上传的数据集并发起的automl任务，比如一次ocr任务，一次图像分类任务。 模型：一次任务中，需要运行的多个模型，比如ocr任务，需要ctpn模型，需要crnn模型。 单模型：一个模型只需要单个节点即可（只适合小数据集）； 分布式模型：一个模型需要多个节点才能运行 阅读全文
摘要：
很多时候，我们是基于python进行模型的设计和运行，可是基于python本身的速度问题，使得原生态python代码无法满足生产需求，不过我们可以借助其他编程语言来缓解python开发的性能瓶颈。这里简单介绍个例子，以此完成如何先基于cuda编写瓶颈函数，然后在将接口通过cpp进行封装，最后以库的形 阅读全文
摘要：
首先借助qqwweee/keras-yolo3中的convert.py和tensorrt例子yolov3_onnx,并重新编写了代码，实现将darknet格式的yolov3的yolov3.cfg和yolov3.weights转换成keras（tensorflow）的h5格式 1 将darknet格式 阅读全文
摘要：
本文是基于TensorRT 5.0.2基础上，关于其内部的yolov3_onnx例子的分析和介绍。 本例子展示一个完整的ONNX的pipline，在tensorrt 5.0的ONNX-TensorRT基础上，基于Yolov3-608网络进行inference，包含预处理和后处理。 首先，从作者网站下 阅读全文
摘要：
本文是基于TensorRT 5.0.2基础上，关于其内部的uff_custom_plugin例子的分析和介绍。 本例子展示如何使用cpp基于tensorrt python绑定和UFF解析器进行编写plugin。该例子实现一个clip层（以CUDA kernel实现），然后封装成一个tensorrt 阅读全文