本文章搜罗近几年在各大顶级期刊投稿的神经网络替代模型的文献,然后归纳总结神经网络做替代模型所使用的网络结构、数据类型和训练方法。
简单介绍
神经网络随着近几年的发展,在各个领域都方兴未艾,其在托卡马克磁流体领域的应用也颇为广泛。包括EPED1-NN、MISHKA-NN、EuroPED-NN等。与目前如日中天的大模型不同的是,神经网络替代模型一般强调的是与数理迭代相比,其耗时有数量级的优势。个人认为这些替代模型有着如下几个特点。
数据少(网络结构简单)
相比大模型可以从互联网上直接拉取大量的已有数据不同,实验数据都需要主动生产出来,因此数据量不在一个量级,自然网络结构也不再一个量级,因此网络结构自然简单。
标准不统一
相比其他领域的网络模型,如图像识别,人脸识别,文本生成,翻译等等,其他领域有着一套标准的数据集用来检测不同模型的效果。因此比较大的网络创新都会很快被发现并得到推广,如transformer、unet、diffusion等等。而等离子体领域并没有形成这样一个公共数据集标准,每个装置都有一套属于自己的数据集,因此应用网络结构呈现百花齐放的特点。通过与实验数据或实验装置结合、或与其他数值程序结果对比、或从耗时降低为出发点,来阐述自己的创新性。而自身的网络结构相比现在主流的网络结构呈现一定的落后。
实用性问题
由于托卡马克本质上是一个工程问题,而AI在托卡马克上的应用属于AI的落地项目的一种方式。类比其他AI形式,如何使AI可用并且能够替代原有方案是一个核心问题。这里给出几种可能与对应的优缺点:
- 基于实验数据的AI分析预测
- 优点:可以做到更快的速度。
- 缺点:由于数据量较少,实验参数的变化导致分析结果的可行性不一定可靠。
- 本质上是一种综合性的数据分析工具,跳过传统的数据处理过程直接给出结果。
- 基于数值模拟数据的AI分析预测
- 优点:相比数值模拟有更快的速度,数据量可以做到较大。
- 缺点:需要原数值模拟结果有足够的可信度,关键地方的数据需要仔细调优。
- 本质上是通过历史数值结果,让AI去猜下一次数值模拟的结果。
论文介绍
这里并不对论文内容作详细介绍(在其他页面),只对论文中神经网络的网络结构、数据来源、训练方式、和其优缺点分析。
EuroPED-NN
可供参考的论文:[2, 3, 8, 6, 7, 10, 4, 5, 9, 1]。
参考文献
- EuroPED-NN: Uncertainty aware surrogate model, IOP Publishing, Plasma Physics and Controlled Fusion vol. 66, 2024. no. 9, 095012. ,
- Magnetic control of tokamak plasmas through deep reinforcement learning, Nature Publishing Group, Nature vol. 602, 2022. no. 7897, 414---419. ,
- Neural network surrogate of QuaLiKiz using JET experimental data to populate training space, AIP Publishing, Physics of Plasmas vol. 28, 2021. no. 3, ,
- Predicting disruptive instabilities in controlled fusion plasmas through deep learning, Nature Publishing Group UK London, Nature vol. 568, 2019. no. 7753, 526---531. ,
- Neural-network accelerated coupled core-pedestal simulations with self-consistent transport of impurities and compatible with ITER IMAS, IOP Publishing, Nuclear Fusion vol. 61, 2020. no. 2, 026006. ,
- Self-consistent core-pedestal transport simulations with neural network accelerated models, IOP Publishing, Nuclear Fusion vol. 57, 2017. no. 8, 086034. ,
- Neural network model of the multi-mode anomalous transport module for accelerated transport simulations, IOP Publishing, Nuclear Fusion vol. 61, 2021. no. 10, 106040. ,
- Fast modeling of turbulent transport in fusion plasmas using neural networks, AIP Publishing, Physics of Plasmas vol. 27, 2020. no. 2, ,
- Prediction of DIII-D pedestal structure from externally controllable parameters, IEEE, IEEE Transactions on Plasma Science vol. 49, 2021. no. 10, 3212---3227. ,
- Hybrid deep-learning architecture for general disruption prediction across multiple tokamaks, IOP Publishing, Nuclear Fusion vol. 61, 2020. no. 2, 026007. ,