摘要：
参考资料： https://github.com/dmlc/decord 由于最近部门业务调整，让我过去做视频相关的研究了。这篇随笔是为了辨析一下在深度学习的语境下如何规范地去读取视频，如果不注意的话还是容易踩坑的。 首先，我们需要用到decord这个软件，使用pip就可以直接安装，链接在参考资料中 阅读全文
摘要：
参考资料： https://github.com/Lightning-AI/pytorch-lightning/issues/11902 最主要的参数是devices和num_nodes。 其中devices如果输入一个正整数的话，表示使用多少张卡来训练。如果输入的是一个列表，则和从零开始的devi 阅读全文
摘要：
参考资料： https://github.com/jupyter-server/jupyter_server/issues/1338 今天在使用自己部署的jupyterlab删除文件的时候出现了一个奇怪的报错：send2trash failed: [Errno 13] Permission deni 阅读全文
摘要：
参考资料： GPT的回答 错误处理是每一个编程语言中都必不可少的一部分，而在Python中使用的语言规范正是try except代码块。别看使用上非常简单，能够规范的用上它，并且很好地处理错误、抛出错误也不是一件容易的事情。下面简单讲解一下python种try except的使用规范： 1. 什么时 阅读全文
摘要：
参考资料： GPT的回答 自己的实验结果 之前自己在用Pytorch跑模型训练的时候产生了如下一系列问题：1）Pytorch使用的cuda显存什么时候释放 2）什么时候会导致显存堆积 3）如何监控显存的使用。经过查找资料后找到了这些问题的答案，现在记录在此： 1. Pytorch使用的cuda显存什 阅读全文
摘要：
参考资料： GPT的回答 在 Python 中，函数的变量解析遵循特定的顺序，通常称为 "LEGB" 规则。LEGB 分别代表四个作用域： Local (本地): 函数内部定义的变量。 Enclosing (闭包): 嵌套函数中外层函数的变量。 Global (全局): 模块（文件）级别定义的变量。 阅读全文
摘要：
参考资料： torchvision文档 众所周知OpenCV/CV2和PIL是Python领域最常使用的图像处理库，而Pytorch Tensor则是我们在深度学习领域接触最多的张量数据结构，知道这几种格式之间的相互转化方式是非常有必要的。三类，一共6种相互转化的链路，下面一一道来： 1. Open 阅读全文
摘要：
参考资料： GPT-4o mini的回答 第一种方法是使用md5sum这个命令（Linux上），但是由于环境的不同，哪怕是load之后转存似乎都会有差，所以效果不大。 第二种方法是使用代码比较，这段代码是我找GPT要的，感觉非常不错。 from safetensors.torch import lo 阅读全文
摘要：
参考资料： Diffusers中DiffusionPipeline基类的[源码] 众所周知Pipeline是Diffusers中最重要的一个API接口，一直以来我都对这个接口数据结构的获取一知半解，今天看了下源码终于知道了这个API结构的数据类型是如何设置的。直接看代码： @property def 阅读全文
摘要：
参考资料： https://github.com/AUTOMATIC1111/stable-diffusion-webui https://razeen.me/posts/the-ultimate-programmers-guide-to-bash-scripting/ 众所周知.sh文件是Linu 阅读全文
摘要：
参考资料： https://stackoverflow.com/questions/47092247/how-to-setup-working-directory-in-vs-code-for-pylint 参考资料给出了一个行之有效的方法，就是在当前的根目录下新建一个.env文件，然后加上这段话： 阅读全文
摘要：
参考资料： [实现本地镜像的导入、导出] 我们知道docker高手制作docker镜像都是通过Dockfile去“编译”一个镜像的，但是由于种花家的网络状况，使用Dockerfile很难一步把docker里的环境给一步配好，所以更多的时候我会选择以一个base镜像为基础，装好环境后导出。就我的理解这 阅读全文
摘要：
参考资料： [驱动-CUDA对照表] [驱动下载页] [重装驱动的一个教程] [整体的一个方法指导] 由于项目结题，需要在一个较旧的8卡V100服务器上运行机器学习代码，但是这个服务器上面的docker驱动却旧到爆炸，请看VCR： 2023年了居然显卡驱动还停留在418，这下不得不升级了。请示完导师 阅读全文
摘要：
参考资料： https://cloud.tencent.com/developer/article/2204701 https://github.com/huggingface/diffusers 想研究这个lazy import的起因是：我想学习一下高级的算法工程师是如何构建一个pip包的，然后我 阅读全文
摘要：
参考资料： https://ascii-tree-generator.com/ 无需多言，感谢这些前辈的智慧。界面如下： 阅读全文
摘要：
参考资料： https://packaging.python.org/tutorials/packaging-projects/ 提到Python的包管理器，大多数人都会想到pip和conda，其中又尤以pip简单好用。那么如果有一天你写了一个有用的项目，想要发布给公众，或者实现方便的安装，那么你可 阅读全文
摘要：
参考资料： 自己总结 1. 重写代码是愚蠢的，别人造过的轮子在理解的前提下拿来用即可。重要的是清楚自己需要改写哪些部分。 2. 一定不要眼光太高，想一次性解决所有问题。要去复现前人的研究成果，找到其中的缺陷。 3. 看待问题不要从神经网络的角度，要从公式的角度，从原理的角度，神经网络只是工具 ... 阅读全文
摘要：
参考资料： 自己摸索 https://blog.csdn.net/qq_43684922/article/details/127024933 之前我写过一篇如何在docker中使用gpu的随笔（传送门），当时反响还不错（收获了三个推荐）。但是今天却遇到了坑爹的情况，当时的方法不管用了。 回顾一下当时 阅读全文
摘要：
参考资料： https://blog.chapagain.com.np/latex-generate-dummy-text-lorem-ipsum-in-your-document/ \documentclass{report} \usepackage{lipsum} \begin{document 阅读全文
摘要：
参考资料： [自己摸索] [chatgpt3.5] 众所周知，Huggingface团队的transformers库是一个非常优秀非常方便的库，它使得很多模型实现了“开箱即用”。但是，由于transformers这个库的快速迭代，也导致了很多兼容性上的问题。比如今天我发现一个现象：我使用老板的tra 阅读全文