摘要：
因为学科的GPU集群只能用ssh协议登录，Xshell当然没有问题，但是Xftp没有ssh协议，所以找到了用Xshell给Xftp开通代理的方法，记下来记下来。 原文链接：https://www.cnblogs.com/queenz-852/p/13051523.html 服务器只能使用ssh登录， 阅读全文
摘要：
因为分布式计算也没法跑，也没代码，这个太复杂了，仍然是听理论即可。 GPU机器架构： 机器的效率是有一个比较明确的层级关系的，我们应该尽量在GPU之间做数据交换，实在不行通过CPU去内存做交换，但是应该尽量避免机器之间的数据交换。 能在本地做的尽量在本地做，尽可能减少机器的交互次数。 并行的时候，一 阅读全文
摘要：
就是说，咱论文，咱实在是看的恶心的受不了，来看看李沐压压惊。 因为今天是多GPU训练，而我，作为一个一块GPU都没有的穷鬼，自然跑不了代码，同时，colab上也就只有一块GPU，所以记录一下听课的经验就行。 在从0实现中有一个特别有用的代码： scatter这个函数可以根据你的GPU信息，自动把数据 阅读全文
摘要：
1原视频链接：https://www.bilibili.com/video/BV1As411377S/?spm_id_from=333.788.videocard.1 2此外还有一个带有一些对未来展望的视频：https://www.bilibili.com/video/BV1wA411p7FZ?fr 阅读全文
摘要：
Digital Signal Procession（DSP）：数字信号处理芯片 为数字信号处理算法设计：点积、卷积、FFT 低功耗，高性能，比移动GPU快5倍，功耗还更低。 利用VLIW（vary long instruction word）非常长的指令，一条指令计算上百次累加或者乘法。 劣势： 编 阅读全文
摘要：
PointNet论文精读：https://blog.csdn.net/cg129054036/article/details/105456002 3D点云深度学习：https://blog.csdn.net/kkxi123456/article/details/102731709 三维点云网络Poi 阅读全文
摘要：
举个例子，为什么不能用CPU做深度学习？ 就拿Intel的i7来说，她每秒钟的运算是0.15TFLOPS，而NVIDIA的TitanX是12TFLOPS，两者差出80倍之多。 在实际中，你用GPU训练一个模型需要1小时的话，用CPU就需要80小时，你还玩个屁。 CPU： 左侧是集显区域，负责渲染图形 阅读全文
摘要：
沐神：如果你在神经网络中要了解一个网络的话，一定就是要了解ResNet网络了。 在这里首先要思考一个问题： 显然不一定，就如左图所示，我们的模型从F1这么小个训练到了F6这么大个，可能的最优解却变得更差了，这就是所谓的一条路走到黑。 这里的计算涉及到泛函的知识，之前没接触过，感觉挺大一块，慢慢用到在 阅读全文
摘要：
现在几乎所有的神经网络都在使用批量归一化这个层。 但是沐神讲的不太懂，可以看看对源paper的理解：https://blog.csdn.net/hjimce/article/details/50866313 背景： 在网络上，数据一般都在输入层，也就是在最下面，但是损失函数在最上面，所以上面的层训练 阅读全文
摘要：
GoogLeNet是一个到目前为止仍然被广泛使用的网络。 GoogLeNet被认为是第一个卷积层超过一百层的网络。 GoogLeNet，其实就是Google的Net，本身就是Google的一批人做的，这里是玩了一个梗，将L大写，算是对LeNet的致敬。 Inception块： GoogLeNet最重 阅读全文