Gradient Free Parameter Estimation for Hidden Markov Models with Intractable Likelihoods
Gradient Free Parameter Estimation for Hidden Markov Models with Intractable Likelihoods
复制标题
具有棘手似然性的隐马尔可夫模型的无梯度参数估计
DOI：
10.1007/s11009-013-9357-4
复制
发表时间：
2013
影响因子：
0.9
通讯作者：
Ehrlich E
中科院分区：
文献类型：
--
作者：
Ehrlich E
本文主要研究隐马尔可夫模型静态模型参数的极大似然估计。我们将考虑的情况下，一个不能或不想计算的条件似然密度的观察给定的隐藏状态，因为增加了计算复杂性或分析棘手。相反，我们将假设可以从该条件似然中获得样本，因此使用原始HMM的近似贝叶斯计算（ABC）近似。虽然这些ABC近似会引起偏差，但这可以通过正参数Δ θ控制到任意精度，因此偏差随着Δ θ的减小而减小。我们首先建立，当使用一个固定批次的数据的HMM的ABC近似，然后得到的对数边际似然和它的梯度的偏差是不差于，其中是数据点的总数。因此，当使用梯度方法对HMM的ABC近似执行MLE时，可以期望合理准确度的参数估计。为了计算未知和固定的模型参数的估计，我们提出了一种基于同时扰动随机近似（SPSA）和序贯蒙特卡罗（SMC）的梯度方法，用于HMM的ABC近似。用两个数值例子说明了这种方法的性能。
In this article we focus on Maximum Likelihood estimation (MLE) for the static model parameters of hidden Markov models (HMMs). We will consider the case where one cannot or does not want to compute the conditional likelihood density of the observation given the hidden state because of increased computational complexity or analytical intractability. Instead we will assume that one may obtain samples from this conditional likelihood and hence use approximate Bayesian computation (ABC) approximations of the original HMM. Although these ABC approximations will induce a bias, this can be controlled to arbitrary precision via a positive parameterϵ, so that the bias decreases with decreasingϵ. We first establish that when using an ABC approximation of the HMM for a fixed batch of data, then the bias of the resulting log- marginal likelihood and its gradient is no worse than, wherenis the total number of data-points. Therefore, when using gradient methods to perform MLE for the ABC approximation of the HMM, one may expect parameter estimates of reasonable accuracy. To compute an estimate of the unknown and fixed model parameters, we propose a gradient approach based on simultaneous perturbation stochastic approximation (SPSA) and Sequential Monte Carlo (SMC) for the ABC approximation of the HMM. The performance of this method is illustrated using two numerical examples.
登录
查看更多内容
利用有限集中的观测值递归识别 HMM
DOI：
--
发表时间：
1995
期刊：
Proceedings of 1995 34th IEEE Conference on Decision and Control
影响因子：
--
作者：
F. LeGland;L. Mevel
通讯作者：
L. Mevel
马尔可夫链自适应估计中的辨识算法分析
DOI：
--
发表时间：
1985
期刊：
IEEE Conference on Decision and Control
影响因子：
--
作者：
A. Arapostathis;S. Marcus
通讯作者：
S. Marcus
影响因子：
2.5
作者：
V. Tadic
通讯作者：
V. Tadic
隐马尔可夫模型中的递归估计
DOI：
10.1109/cdc.1997.652384
发表时间：
1997
期刊：
Proceedings of the 36th IEEE Conference on Decision and Control
影响因子：
--
作者：
Fraqois;LeGland;Laurent;Mevel
通讯作者：
Mevel
影响因子：
1.2
作者：
A. Beskos;D. Crisan;A. Jasra;N. Whiteley
通讯作者：
A. Beskos;D. Crisan;A. Jasra;N. Whiteley