x383494

摘要： 根据使用者的 feedback 更新我们的模型．有一个问题是学完不同 domain 的数据（多个任务）之后会忘了之前学过的内容，但如果把数据混在一起学却能同时学会．这种状况是 catastrophic forgetting，用 catastrophic（灾难性的）来形容足见遗忘的夸张程度． 那把之前 阅读全文

摘要： title: NTU ML2023Spring Part2.13 Reinforcement Learning date: 2025-05-01 15:45:00+0800 lastmod: 2025-05-02 14:44:00+0800 RL: reinforcement learning，强化 阅读全文

摘要： domain shift: 训练资料和测试资料的分布不一样。 domain adaptation 可以看作是 transfer learning 的一种。详见这个视频 domain shift 有很多类型，这里只讨论输入数据分布不一样的情况。记作 source domain 和 target dom 阅读全文

摘要： 有时在某些可能带来严重后果的任务（比如医疗，法律、自动驾驶）上，我们不止希望机器学习模型给出一个答案，更希望它给出相应的理由。 那能不能直接用更容易解释的模型呢？可以，但问题是效果不好。 interpretable 和 explainable 这两个词经常被混用，前者指它本来不是黑箱，后者指它是黑箱 阅读全文

摘要： 只会无脑写出 \(5 \times 5\)（或者更大）的转移矩阵而不会推式子？还在尝试卡常？本文提供了一种方法在这些情况下优化常数从而能够强行 AC。 （其实等价于推式子，但更无脑。） 对角化 理论 给定 \(n \times n\) 方阵 \(A\)，若其可对角化，则可分解为 \(A = PDP^ 阅读全文

摘要： License：CC BY-NC-SA 4.0 同步发表于我的新博客。 假设你有一个图像识别的模型，输入图像，输出里面的东西。一般来说输入一张猫的图片，它会识别为猫；但如果给图片里的像素做特定的微小改动（attack），在人眼看不出来变化的情况下可以让机器识别的结果变成其他东西。 attack 按照 阅读全文

摘要： License: CC BY-NC-SA 4.0 上来要做 data augmentation，于是翻了一下 pytorch 的官方文档。发现 torchvision.transforms.v2 更好。 TL;DR We recommending using the torchvision.tran 阅读全文

摘要： 第一难：安装依赖包时 fairseq 装不上。解决方法：将 pip 降级到 24.1 以下：pip install pip==24.0。 第二难：ImportError: cannot import name 'utils' from 'fairseq' (unknown location). 于是 阅读全文

摘要： License: CC BY-NC-SA 4.0 基本概念 类似 self-supervised learning，auto encoder 是一种更古老的不需要资料标注的训练方法。 假设你有一堆图片（影像处理的任务），你要训练一个 encoder 和一个 decoder，encoder 读入图片产 阅读全文

摘要： License: CC BY-NC-SA 4.0 同步发表于我的新博客。 supervised learning 是之前见过很多次的，给定一些输入和输出，让机器学习其中的规律。而 self-supervised learning 就不用标注数据。有趣的是，这一类模型大都以芝麻街的人物命名，例如 BE 阅读全文