可视化CLIP视觉编码器内部注意力热力图
摘要：动机 近期，笔者在研究LLaVA[1]时，注意到LLaVA使用ViT（Vision Transformer）倒数第二层的输出作为视觉特征。消融实验显示，使用倒数第二层的效果略好于最后一层。作者猜测，这可能是因为最后一层特征更关注全局和抽象信息，而倒数第二层更多关注局部信息，从而有利于理解图像细节。
阅读全文
posted @
2025-01-24 01:07
LittleHenry
阅读(27)
推荐(0) 编辑
numpy_torch_basic
摘要：import numpy as np Create arr1 = np.array([1.,2.,3.]) arr1 array([1., 2., 3.]) arr2 = arr1.astype(int) arr2 array([1, 2, 3]) arr3 = np.ones((3,2,1)) a
阅读全文
posted @
2024-08-25 14:05
LittleHenry
阅读(6)
推荐(0) 编辑
pytorch基本操作
摘要：Referred to https://www.bilibili.com/video/BV17X4y1H7dK/?spm_id_from=333.337.search-card.all.click&vd_source=d312c66700fc64b66258a994f0a117ad
阅读全文
posted @
2024-05-28 22:10
LittleHenry
阅读(19)
推荐(0) 编辑
transformer的Pytorch简易实现
阅读全文
