04 2023 档案
摘要:蒸馏收敛 基于keras的知识蒸馏(Knowledge Distillation)-分类与回归 如果通过蒸馏收敛到一个更优的的部署模型 Knowledge Distillation Introduction to Knowledge Distillation 知识提取是一种模型压缩过程,其中对小(学
阅读全文
摘要:word2vec 单词向量化表示 word2vec 下分为两个模型CBOW与Skip-gram ,分别包含Hierarchical Softmax和 Negative Sampling两个方法; 1. 连续词袋模型(CBOW)与跳字模型(Skip-gram) 单词W; 词典D = {W1, W2,
阅读全文
摘要:图像的一般问题Caffe很方便,是目前产品化最多的库; 多关注TensorFlow,社区发达资源多; 可以关注Facebook的Pytorch + caffe2,研究+产品应用组合; MxNet对显存利用率很高,而且Amazon也大力支持; Caffe 来源于Berkeley的开源框架 高效、一般的
阅读全文
摘要:循环神经网络 CV是和image图片和视频打交道; NLP 自然语言处理是和文本打交道,文本天然的时序数据; 1. 场景与多种应用 模仿论文(生成序列) 模型Linux内核代码“写程序” (生成序列)| 按概率分布去做排布 模仿小四的作品(生成文本序列) 机器翻译 Image to text/ 看图
阅读全文