Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach
复制标题
可证明有效的结构方程模型神经估计：对抗性方法
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
M. Kolar
中科院分区：
文献类型：
--
作者：
Luofeng Liao;You;Zhuoran Yang;Bo Dai;Zhaoran Wang;M. Kolar
结构方程模型（sem）广泛应用于从经济学到心理学的科学领域，用于揭示正在考虑的复杂系统背后的因果关系并估计感兴趣的结构参数。我们研究了一类广义SEMs的估计问题，其中我们关注的对象被定义为一个线性算子方程的解。我们将线性算子方程表述为最小-最大博弈，其中两个参与者都由神经网络（nn）参数化，并使用随机梯度下降学习这些神经网络的参数。我们考虑了具有ReLU激活函数的2层和多层神经网络，并证明了在神经元数量分散的过参数化状态下的全局收敛性。结果是利用网络的在线学习和局部线性化技术建立的，并在几个方面改进了当前的最新技术。我们首次提供了一种易于处理的基于神经网络的SEMs估计过程，该过程具有可证明的收敛性，并且不需要样本分割。
Structural equation models (SEMs) are widely used in sciences, ranging from economics to psychology, to uncover causal relationships underlying a complex system under consideration and estimate structural parameters of interest. We study estimation in a class of generalized SEMs where the object of interest is defined as the solution to a linear operator equation. We formulate the linear operator equation as a min-max game, where both players are parameterized by neural networks (NNs), and learn the parameters of these neural networks using the stochastic gradient descent. We consider both 2-layer and multi-layer NNs with ReLU activation functions and prove global convergence in an overparametrized regime, where the number of neurons is diverging. The results are established using techniques from online learning and local linearization of NNs, and improve in several aspects the current state-of-the-art. For the first time we provide a tractable estimation procedure for SEMs based on NNs with provable convergence and without the need for sample splitting.
登录
查看更多内容
DOI：
--
发表时间：
2019-05
期刊：
ArXiv
影响因子：
--
作者：
Andrew Bennett;Nathan Kallus;Tobias Schnabel
通讯作者：
Andrew Bennett;Nathan Kallus;Tobias Schnabel
DOI：
--
发表时间：
2018-05
期刊：
ArXiv
影响因子：
--
作者：
Behnam Neyshabur;Zhiyuan Li;Srinadh Bhojanapalli;Yann LeCun;N. Srebro
通讯作者：
Behnam Neyshabur;Zhiyuan Li;Srinadh Bhojanapalli;Yann LeCun;N. Srebro
用未衡量的混杂因素的代理变量识别因果效应。
影响因子：
2.7
作者：
Miao W;Geng Z;Tchetgen Tchetgen E
通讯作者：
Tchetgen Tchetgen E
影响因子：
5.8
作者：
KERR, BM;THUMMEL, KE;LEVY, RH
通讯作者：
LEVY, RH
固定效应面板数据模型的非参数估计和测试。
影响因子：
6.3
作者：
Henderson,DanielJ;Carroll,RaymondJ;Li,Qi
通讯作者：
Li,Qi