摘要:
笔者最近在研究图上的扩散模型,阅读了离散变量扩散模型的经典文献 Discrete Denoising Diffusion Probabilistic Model (D3P , NeurIPS, 2021)。D3P 是连续变量上的去噪扩散模型 Denoising Diffusion Probabili 阅读全文
摘要:
前言:这个题目有些标题党,argmax 的值域甚至都不是实数域,没有良定义的梯度。那为什么要讨论这个问题呢?因为 argmax 是深度学习模型中常用的一个操作,对于包含离散随机变量的模型来说,更是一个不可回避的操作,这就带来了不可微的问题,使得模型难以进行端到端的训练。但究竟为什么不可微,似乎鲜有深 阅读全文
摘要:
在上期笔记中介绍了如何在 Java 中调用 NetLogo,本篇博客介绍如何在 Python 中调用 NetLogo。实现依赖一个 Python 包 PyNetLogo,而 PyNetLogo 依赖 JPype,以实现在 Python 中调用 Java。完整的调用逻辑如下 由上图可知,本质上 PyN 阅读全文
摘要:
最近由于科研需要,笔者接触了 NetLogo,一种用于多智能体建模的编程语言。NetLogo 的定位是一门领域特定语言(domain-specific programming language),而不是一门通用编程语言(general purpose programming language),这是 阅读全文
摘要:
__includes 导入 .nls 文件 当模型包含多个例程时,全部写在一个 .nlogo 文件会显得臃肿、结构不清晰、可读性差,这就产生了拆分文件的需求。NetLogo 提供了一个实验性的 keyword __includes,根据官方文档,用法如下 #! model.nlogo __inclu 阅读全文
摘要:
Chapter 12. Continuous Latent Variables 更新日志(截至20210423) 20210423:首次提交,含习题简述及习题 12.2,12.3 的详解 习题简述 PCA 12.1:证明最大方差 \(M\) 维子空间由数据协方差矩阵的前 \(M\) 大特征值对应的特 阅读全文
摘要:
Chapter 9. Mixture Models and EM 更新日志(截至20210408) 20210408:首次提交,含习题 9.11 的详解 习题简述 \(k\)-means 9.1:证明 \(k\)-means 经有限步收敛 9.2:\(k\)-means 的序列优化 混合分布 混合高 阅读全文
摘要:
Chapter 5. Neural Networks 更新日志(截至20210802) 20210802:添加习题 5.8,5.16,5.19-5.20,5.2,5.27,5.29,5.32,5.37-5.38 的详解 20210404:添加习题 5.25 的详解 20210325:首次提交,含习题 阅读全文
摘要:
Chapter 4. Linear Models for Classification 更新日志(截至20210725) 20210725:添加习题 4.11,4.13-4.14,4.17-4.19,4.21-4.26 的详解 20210717:添加习题 4.4-4.6,4.9-4.10 的详解 2 阅读全文
摘要:
图神经网络的表达能力与置换同变性 图神经网络(Graph Neural Networks, GNN)接替网络嵌入(Network Embedding)成为图机器学习的主流,并渗透到计算机视觉和自然语言处理领域,取得了巨大的成功。现有的 GNN 大多可以纳入消息传递(Message Passing N 阅读全文