张博的博客

大模型量化3

摘要： https://huggingface.co/blog/4bit-transformers-bitsandbytes 1. 8 位float The FP8 (floating point 8) format has been first introduced in the paper “FP8 f 阅读全文

posted @ 2023-10-03 13:06 张博的博客阅读(141) 评论(0) 推荐(0) 编辑

大模型量化2

摘要： https://arxiv.org/pdf/2208.07339.pdf 论文题目: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale 第二章: 基础知识: 2.1 8bit的数据和量化绝对值量化: 我们直接看公式. 阅读全文

posted @ 2023-10-02 17:24 张博的博客阅读(68) 评论(0) 推荐(0) 编辑

俄罗斯下书网站

摘要： https://libgen.gs/edition.php?id=136415 阅读全文

posted @ 2023-09-30 23:01 张博的博客阅读(48) 评论(0) 推荐(0) 编辑

图像二值化后相减的bug

摘要：图像二值化后是uint8类型. 不能直接做减法. 因为2个uint8 减完还是uint8. 没有符号. 解法: astype提升即可. dangqian=dangqian.astype(int) tmpmuban=tmpmuban.astype(int) aaaa=np.abs(tmpmuban-d 阅读全文

posted @ 2023-09-27 17:22 张博的博客阅读(15) 评论(0) 推荐(0) 编辑

miniconda:这种方式安装的python不会有错误,最稳妥.

摘要： miniconda:这种方式安装的python不会有错误,最稳妥. https://mirrors.bfsu.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh conda create -n Test1 python=3.9 co 阅读全文

posted @ 2023-09-26 17:09 张博的博客阅读(11) 评论(0) 推荐(0) 编辑

大模型量化论文1

摘要：大模型如何轻量化训练和部署是非常重要的问题. 相关论文也需要学习. 第一篇我就写这里. 8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION 1. 基本知识: 1.1状态优化器一个优化器在迭代第t次时候更新神经网络参数w的公式为: . L是损失函数. 分别是sg 阅读全文

posted @ 2023-09-26 14:04 张博的博客阅读(124) 评论(0) 推荐(0) 编辑

VideoChat笔记

摘要： https://arxiv.org/pdf/2305.06355.pdf 一个理解视频的大语言模型, 跟视频里面内容可以随便问模型. 还是老方法直接第三章走起. 3. VideoChat: 直接看图: VideoChat分2个部分, 一个是VideoChat-Text 一个是VideoChatEmb 阅读全文

posted @ 2023-09-21 16:36 张博的博客阅读(133) 评论(0) 推荐(0) 编辑

llama网盘

摘要： https://github.com/ymcui/Chinese-LLaMA-Alpaca/issues/79 阅读全文

posted @ 2023-09-21 07:18 张博的博客阅读(32) 评论(0) 推荐(0) 编辑

github 2fa认证

摘要： github 2fa登录: 1.https://zhuanlan.zhihu.com/p/615693483?utm_id=0 安装里面的chrome插件.https://chrome.google.com/webstore/detail/authenticator/bhghoamapcdpbohp 阅读全文

posted @ 2023-09-20 15:23 张博的博客阅读(239) 评论(1) 推荐(0) 编辑

more often than not 的含义

摘要：今天听https://www.bilibili.com/video/BV1w94y12727/?p=2&spm_id_from=pageDriver more often than not 连读:mor ofen than au 想了半天不动什么意思. 查了一下表示大部分情况下. 还是不理解为什么, 阅读全文

posted @ 2023-09-18 16:23 张博的博客阅读(301) 评论(0) 推荐(0) 编辑

导航