Efficient gradient computation for dynamical models.
Efficient gradient computation for dynamical models.
复制标题
动态模型的有效梯度计算。
DOI：
10.1016/j.neuroimage.2014.04.040
复制
发表时间：
2014-09
期刊：
影响因子：
5.7
通讯作者：
Penny WD
中科院分区：
文献类型：
--
作者：
Sengupta B;Friston KJ;Penny WD
数据同化是神经科学中出现的一个基本问题，从使用单电极记录研究单个神经元到使用功能磁共振成像研究数千个神经元的相互作用。数据同化涉及反转生成模型，该模型不仅可以解释观测数据，还可以生成预测。通常，模型被反转或拟合使用传统的（凸）优化工具，这些工具总是极值一些函数规范，最小描述长度，变分自由能等。通常，优化依赖于评估要优化的函数的局部梯度。在本文中，我们比较了三种不同的梯度估计技术，它们可用于在时间上极化任何泛函- (i)有限差分，（ii）前向灵敏度和基于（iii）动力系统伴随的方法。我们证明了线性或非线性动力系统的一阶梯度可以用伴随方法最有效地计算。对于参数数量大于状态数量的系统尤其如此。对于这样的系统，积分几个灵敏度方程-根据要求与前向灵敏度-被证明是最昂贵的，而有限差分近似具有中等效率。在神经影像学的背景下，基于伴随的动态因果模型反转（dcm）原则上可以研究具有大量节点和参数的模型。我们比较了三种计算动态系统梯度的方法。方法有有限差分法、正向灵敏度法和反向伴随法。伴随法的效率要高50-70倍。
Data assimilation is a fundamental issue that arises across many scales in neuroscience — ranging from the study of single neurons using single electrode recordings to the interaction of thousands of neurons using fMRI. Data assimilation involves inverting a generative model that can not only explain observed data but also generate predictions. Typically, the model is inverted or fitted using conventional tools of (convex) optimization that invariably extremise some functional — norms, minimum descriptive length, variational free energy, etc. Generally, optimisation rests on evaluating the local gradients of the functional to be optimized. In this paper, we compare three different gradient estimation techniques that could be used for extremising any functional in time — (i) finite differences, (ii) forward sensitivities and a method based on (iii) the adjoint of the dynamical system. We demonstrate that the first-order gradients of a dynamical system, linear or non-linear, can be computed most efficiently using the adjoint method. This is particularly true for systems where the number of parameters is greater than the number of states. For such systems, integrating several sensitivity equations – as required with forward sensitivities – proves to be most expensive, while finite-difference approximations have an intermediate efficiency. In the context of neuroimaging, adjoint based inversion of dynamical causal models (DCMs) can, in principle, enable the study of models with large numbers of nodes and parameters. We compare three methods to compute gradients in dynamical systems. The methods are finite-differences, forward sensitivity and reverse adjoints. The adjoint method is 50–70 folds more efficient.
登录
查看更多内容
影响因子：
5.7
作者：
Friston, Karl J.;Mattout, Jeremie;Penny, Will
通讯作者：
Penny, Will
影响因子：
5.8
作者：
Vyshemirsky, Vladislav;Girolami, Mark A.
通讯作者：
Girolami, Mark A.
影响因子：
4.3
作者：
Deco, Gustavo;Jirsa, Viktor K.;Robinson, Peter A.;Breakspear, Michael;Friston, Karl J.
通讯作者：
Friston, Karl J.
影响因子：
19.9
作者：
Gazzaniga, Michael S.
通讯作者：
Gazzaniga, Michael S.
影响因子：
5.7
作者：
David, Olivier;Kiebel, Stefan J.;Friston, Karl J.
通讯作者：
Friston, Karl J.