ForHHeart

2024年5月3日

摘要： 1 Generative Self-supervised Learning 1.1 AR 1.2 AE 2 Discriminative Self-supervised Learning(Contrastive Learning) InfoNCE 阅读全文

posted @ 2024-05-03 18:32 ForHHeart 阅读(12) 评论(0) 推荐(0) 编辑

Quantization: fp16, bf16, int8, fp4, nf4

摘要： 1 GPU Memory Usage 1.1 How to Compute How to compute GPU Memory Usage? Model size: Model Weights: 4Bytes * num_param Optimizer: 4Bytes * 2 * num_param 阅读全文

posted @ 2024-05-03 16:05 ForHHeart 阅读(138) 评论(0) 推荐(0) 编辑

Text Representation: OneHot, BOW, N-grams, TF-IDF, Word2Vec, Glove, FastText, ELMO, BERT, SBERT

摘要： 1 Statistical Model 1.1 One-Hot 1.2 Bag of words(BOW) https://web.stanford.edu/class/datasci112/lectures/lecture8.pdf 1.3 N-grams 1.4 TF-IDF 2 Word Em 阅读全文

posted @ 2024-05-03 14:34 ForHHeart 阅读(18) 评论(0) 推荐(0) 编辑

Momentum Contrast (MoCo) for Unsupervised Visual Representation Learning

摘要： 1 Introduction 1.1 Instance discrimination (样本判别) Instance discrimination 制定了一种划分正样本和负样本的规则有一个数据集，里面有N张图片，随机选择一张图片

x_{1}

$x_1$ ，经过不同的Data Transformation得到阅读全文

posted @ 2024-05-03 04:19 ForHHeart 阅读(33) 评论(0) 推荐(0) 编辑

2024年5月1日

Mixtral 8×7B (Mistral MoE)

摘要： Blog 1: Mixtral 8✖️7B=56B？错！一文带你看清Mixtral内部结构及参数计算 | Zhihu Blog 2: Mixtral 8x7B(Mistral MoE) 模型解析 | Zhihu Video 1: mixtral系列S1——MoE实现细节 | Bilibili Vid 阅读全文

posted @ 2024-05-01 03:08 ForHHeart 阅读(89) 评论(0) 推荐(0) 编辑

2024年4月28日

Reinforcement Learning Basic Notes

摘要： 1 Terminology State Action Reference Reinforcement Learning Basics - Shusen Wang | Youtube 阅读全文

posted @ 2024-04-28 18:08 ForHHeart 阅读(2) 评论(0) 推荐(0) 编辑

RecSys & Ads Basic Notes

摘要： Video 1: Recommendation Systems - Shusen Wang | Youtube Video 2: Search Engine Technology - Shusen Wang | Youtube 1.1 损失函数 Softmax NCE Loss NEG Loss S 阅读全文

posted @ 2024-04-28 18:02 ForHHeart 阅读(18) 评论(0) 推荐(0) 编辑

2024年4月16日

Reinforcement Learning from Human Feedback(RLHF): TRPO, PPO, DPO

摘要： 0 Introduction Terminology

S

$S$ (state),

A

$A$ (action),

R

$R$ (reward)

τ

$\tau$ (trajectory) = (

s_{1}

$s_1$ ,

a_{1}

$a_1$ ,

r_{1}

$r_1$ ,

s_{2}

$s_2$ ,

a_{2}

$a_2$ ,

r_{2}

$r_2$ ,..., \(s 阅读全文

posted @ 2024-04-16 13:47 ForHHeart 阅读(32) 评论(0) 推荐(0) 编辑

2024年4月15日

Mamba

摘要： Reference: A Visual Guide to Mamba and State Space Models 🥥 Table of Content Part 1: The Issues of Transformer Part 2: State Space Model(SSM) State S 阅读全文

posted @ 2024-04-15 04:49 ForHHeart 阅读(210) 评论(0) 推荐(0) 编辑

2024年3月27日

Multimodal Large Language Model(MLLM)

摘要： 1 CLIP https://openai.com/index/clip/ CLIP(Contrastive Language–Image Pre-training)的主要任务为图文匹配计算cosine similarity。对角线的

N

$N$ 个为正样本，其他

N^{2} - N

$N^2-N$ 为负样本。阅读全文

posted @ 2024-03-27 20:49 ForHHeart 阅读(20) 评论(0) 推荐(0) 编辑

公告

阅读排行榜