摘要:
在使用实验室服务器时出现此问题,具体表现为选择用户并输入密码后,等待若干秒后回到登陆界面,无法进入桌面,同时尝试网上的方法如修改.Xauthority的权限均无效。 解决方案:重新安装nvidia驱动。 附一个比较全面的方法汇总:https://blog.csdn.net/jsk_learner/a 阅读全文
摘要:
Intro 在训练集上最小化损失很可能导致泛化性低,因为当今模型的过参数化会导致training loss的landscape异常复杂且非凸,包含很多local/global minima,因此优化器的选择至关重要。loss landscape的几何性质(特别是minima的flatness)与泛化 阅读全文
摘要:
Motivation & Intro 基于DETR的目标检测范式(语义分割的Maskformer也与之相似)通常会用到一系列固定的query,这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query,就可以捕捉特定场景中物体位置和类别的分布。例如,当高级语义显示图 阅读全文
摘要:
前置知识:【EM算法深度解析 - CSDN App】http://t.csdnimg.cn/r6TXM Motivation 目前的语义分割通常采用判别式分类器,然而这存在三个问题:这种方式仅仅学习了决策边界,而没有对数据分布进行建模;每个类仅学习一个向量,没有考虑到类内差异;OOD数据效果不好。生 阅读全文
摘要:
前置知识:VAE(可以参考https://zhuanlan.zhihu.com/p/348498294) Motivation 之前的方法通常使用判别式分类器,对条件分布\(p(y|\textbf{x})\)进行建模(classifier+softmax+ce)。其问题在于分类器会偏向最新学的类别, 阅读全文
摘要:
原因是之前给代码debug的时候加上了with torch.autograd.detect_anomaly,去掉即可。参考:https://github.com/pytorch/pytorch/issues/38714 阅读全文
摘要:
原因是把创建loss的语句loss_aux = torch.tensor(0.)放在循环体外了,可能的解释是第一次backward后把计算图删除,第二次backward就会找不到父节点,也就无法反向传播。参考:https://stackoverflow.com/questions/55268726/ 阅读全文
摘要:
之前使用的比较老的torch 1.8.1,换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc 阅读全文
摘要:
## 摘要 先前的类增量学习方法要么难以在稳定性-可塑性之间取得较好的平衡,要么会带来较大的计算/存储开销。受gradient boosting的启发,作者提出了一种新型的两阶段学习范式FOSTER,以逐步适应目标模型和先前的集合模型之间的残差,使得该模型能够自适应地学习新的类别。具体来说,作者首先 阅读全文
摘要:
参考https://github.com/lucidrains/big-sleep/issues/48,将torch从1.8.0更新至1.8.1后问题得以解决。 阅读全文