Expression of Fractals Through Neural Network Functions
Expression of Fractals Through Neural Network Functions
复制标题
通过神经网络函数表达分形
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
I. Daubechies
中科院分区：
文献类型：
--
作者：
Nadav Dym;B. Sober;I. Daubechies
为了帮助理解神经网络（NN）的基本机制，一些研究小组研究了由深度神经网络（DNN）生成的分段线性（PwL）函数的线性区域的数量。<inline-formula><tex-math notation="LaTeX"></tex-math></inline-formula>特别是，他们证明了<inline-formula><tex-math notation="LaTeX">$ell $</tex-math></inline-formula>可以随着网络参数<inline-formula><tex-math notation="LaTeX">$p$</tex-math></inline-formula>的数量呈指数增长，这一特性经常被用来解释深度神经网络相对于浅度神经网络的优势。尽管如此，一个维数参数表明，当<inline-formula><tex-math notation="LaTeX">$ell > p$时，</tex-math></inline-formula>DNN不能生成所有具有<inline-formula><tex-math notation="LaTeX">$ell $</tex-math></inline-formula>线性区域的PwL函数。因此，自然会寻求用DNN可以构造的<inline-formula><tex-math notation="LaTeX">$ell > p$</tex-math></inline-formula>线性区域来表征特定的函数族。迭代函数系统（IFS）递归地构造一个PwL函数<inline-formula><tex-math notation="LaTeX">序列F_{k}$</tex-math></inline-formula>，其线性区域的数目在<inline-formula><tex-math notation="LaTeX">$k$</tex-math></inline-formula>中是指数的。我们证明了<inline-formula><tex-math notation="LaTeX">$F_{k}$</tex-math></inline-formula>可以由仅使用<inline-formula><tex-math notation="LaTeX">$mathcal {O}（k）$</tex-math></inline-formula>参数的NN生成。IFS被广泛用于在人工图像中生成看起来自然的景观纹理，以及用于压缩自然图像。这种压缩令人惊讶的良好性能表明，人类视觉系统可能会锁定自相似性。这种现象与DNN有效逼近IFS的能力相结合，可能有助于DNN的成功，特别是在图像处理任务中。
To help understand the underlying mechanisms of neural networks (NNs), several groups have studied the number of linear regions <inline-formula> <tex-math notation="LaTeX">$ell $ </tex-math></inline-formula> of piecewise linear (PwL) functions, generated by deep neural networks (DNN). In particular, they showed that <inline-formula> <tex-math notation="LaTeX">$ell $ </tex-math></inline-formula> can grow exponentially with the number of network parameters <inline-formula> <tex-math notation="LaTeX">$p$ </tex-math></inline-formula>, a property often used to explain the advantages of deep over shallow NNs. Nonetheless, a dimension argument shows that DNNs cannot generate all PwL functions with <inline-formula> <tex-math notation="LaTeX">$ell $ </tex-math></inline-formula> linear regions when <inline-formula> <tex-math notation="LaTeX">$ell > p$ </tex-math></inline-formula>. It is thus natural to seek to characterize specific families of functions with <inline-formula> <tex-math notation="LaTeX">$ell > p$ </tex-math></inline-formula> linear regions that can be constructed by DNNs. Iterated Function Systems (IFS) recursively construct a sequence of PwL functions <inline-formula> <tex-math notation="LaTeX">$F_{k}$ </tex-math></inline-formula> with a number of linear regions which is exponential in <inline-formula> <tex-math notation="LaTeX">$k$ </tex-math></inline-formula>. We show that <inline-formula> <tex-math notation="LaTeX">$F_{k}$ </tex-math></inline-formula> can be generated by a NN using only <inline-formula> <tex-math notation="LaTeX">$mathcal {O}(k)$ </tex-math></inline-formula> parameters. IFS are used extensively to generate natural-looking landscape textures in artificial images as well as for compression of natural images. The surprisingly good performance of this compression suggests that human visual system may lock in on self-similarities. The combination of this phenomenon with the capacity of DNNs to efficiently approximate IFS may contribute to the success of DNNs, particularly striking for image processing tasks.
深度 ReLU 网络的激活模式少得惊人
DOI：
--
发表时间：
2019
期刊：
Advances in neural information processing systems
影响因子：
--
作者：
Hanin, Boris;Rolnick, David
通讯作者：
Rolnick, David
DOI：
--
发表时间：
2019-01
期刊：
--
影响因子：
--
作者：
B. Hanin;D. Rolnick
通讯作者：
B. Hanin;D. Rolnick
影响因子：
0.9
作者：
He, Juncai;Li, Lin;Zheng, Chunyue
通讯作者：
Zheng, Chunyue