Adaptive Neural Network-Based Approximation to Accelerate Eulerian Fluid Simulation

  欧拉流体模拟(Eulerian fluid simulation)是一个很重要的HPC应用。

  这里使用神经网络来加速计算。

  提出一个框架,名为Smart-fluidnet。

 

  输入是一个现存的神经网络,Smart-fluidnet会生成许多神经网络。

 

introduction

  主要说它的这个工作可以加速Eulerian fluid simulation,并且取得了不错的结果。

  然后提到了基于神经网络的优化的三个缺点

  缺点一:lack of flexibility

    主要说的是这个Eulerian fluid simulation,这个模拟过程,它是有个simulation code的。然后现有的神经网络优化方法只能生成一种神经网络结构。但是在这个simulation code的不同的execution phase下的target computation,使用不同的神经网络结构来替代,可能会有不同的效果。

    所以这个作者说能不能用更多的神经网络结构来提升它的flexibility。(感觉有点像NAS)

  缺点二:lacks a generalization ability

    感觉说的也是单一神经网络的缺点。

  缺点三:no systematic approach to construct and apply neural network models to the fluid simulation

    感觉这个是信息丰富的一点。

    这里也是和NAS感觉有点相关的地方。

    首先作者提到了当下domain scientists build neural network intuitively。

    然后作者提到了两个神经网络自动生成框架:

      Auto-Keras

        Haifeng Jin, Qingquan Song, and Xia Hu. Efficient neural architecture search with network morphism. arXiv preprint arXiv:1806.10282, 2018.

      AutoML

        Hugo Jair Escalante, Wei-Wei Tu, Isabelle Guyon, Daniel L Silver, Evelyne Viegas, Yuqiang Chen, Wenyuan Dai, and Qiang Yang. Automl@ neurips 2018 challenge: Design and results. arXiv preprint arXiv:1903.05263, 2019.

    作者的意思大概就是,当下神经网络的构建大多intuitively,虽然有相关的科学家试图automatically generate a neural network,但是他们主要focus on image processing or natural language processing ,rather than HPC

    

  不过感觉他们做的东西也不是什么新颖的东西。

  按照作者的意思大概就是有一个现成的neural network作为输入,然后会生成多个neural networks,再然后switch the neural networks dynamically during runtime of the simulation。

 

  所以最后基于以上的challenge需求,需要做到以下几点:

  1.multiple neural networks must be generated automatically

  2.在simulation的过程当中,如何动态选择所使用的的神经网络,这涉及到代价预测之类相关的东西。

  3.神经网络可以对于一些eulerian fluid simulation 问题给出精准的近似解,但是对于一些其他输入的近似效果不太好,对于大数据量的数据输入,如何使得神经网络发挥好它的泛化性能,这是一个问题。

 

  然后就是这个实验是怎么做的。

  首先,对于fluid simulation code,是基于一个叫做mantaflow的流体力学模拟软件的。

  然后作者最终实现的深度学习框架叫做Smart-fluidnet

  Smart-fluidnet主要会有以下几个特性:

  1.对于神经网络自动生成功能似乎是基于auto keras的。

  2.神经网络的选择使用到了多层感知机模型multilayer perceptrons models(MLP)。

  3.显然Smart-fluidnet需要被嵌入到mantaflow这个simulation软件当中,而且作者采用了一个metric and lightweight runtime algorithm来在simulation运行的过程中就能够大概预测出最终整个simulation的质量是好还是不好。

 

 

  然后作者这篇发在CCFA上的论文其实是有一点蹭ICML大佬论文的嫌疑的。在谷歌学术上搜索eulerian fluid simulation,出来的高引用论文是:Jonathan Tompson, Kristofer Schlachter, Pablo Sprechmann, and Ken Perlin. Accelerating eulerian fluid simulation with convolutional networks. In Proceedings of the 34th International Conference on Machine Learning-Volume 70, pages 3424–3433. JMLR. org, 2017.

  然后作者把自己的工作和这篇文章当中提出的Tompson’s model进行了对比,有性能上的提升。

  然后作者还希望它的这种methodology可以帮助到simulation问题

background

  这里介绍的是基于Navier-Stokes equations的fluid simulation。内容比较hard core。

  我们主要关注的是Neural Network-Based Approximation这一小节的内容,即如何使用神经网络来近似。

OVERVIEW

posted @ 2022-01-19 17:44  TheDa  阅读(69)  评论(0编辑  收藏  举报