Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification.
Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification.
复制标题
DOI：
10.1038/s41598-018-30619-y
复制
发表时间：
2018-08-17
影响因子：
4.6
通讯作者：
Wetzstein G
中科院分区：
文献类型：
--
作者：
Chang J;Sitzmann V;Dun X;Heidrich W;Wetzstein G
卷积神经网络（CNN）在各种计算机视觉应用中表现出色，但其高性能也带来了高计算成本。尽管努力提高算法和专用硬件的效率，但由于功耗预算紧张，在嵌入式系统中部署CNN仍然很困难。在这里，我们探索一种补充策略，在电子计算之前加入一层光学计算，提高图像分类任务的性能，同时增加最小的电子计算成本或处理时间。我们提出了一种基于优化的衍射光学元件的光学卷积层设计，并在两个模拟中测试了我们的设计：学习的光学相关器和光电双层CNN。我们在模拟和光学原型中证明，我们的光学系统的分类精度与类似的电子实现相媲美，同时提供大量的计算成本节省。
Convolutional neural networks (CNNs) excel in a wide variety of computer vision applications, but their high performance also comes at a high computational cost. Despite efforts to increase efficiency both algorithmically and with specialized hardware, it remains difficult to deploy CNNs in embedded systems due to tight power budgets. Here we explore a complementary strategy that incorporates a layer of optical computing prior to electronic computing, improving performance on image classification tasks while adding minimal electronic computational cost or processing time. We propose a design for an optical convolutional layer based on an optimized diffractive optical element and test our design in two simulations: a learned optical correlator and an optoelectronic two-layer CNN. We demonstrate in simulation and with an optical prototype that the classification accuracies of our optical systems rival those of the analogous electronic implementations, while providing substantial savings on computational cost.
登录
查看更多内容
影响因子：
10.8
作者：
Lin, Dianmin;Holsteen, Aaron L.;Brongersma, Mark L.
通讯作者：
Brongersma, Mark L.
影响因子：
1.9
作者：
FARHAT, NH;PSALTIS, D;PAEK, E
通讯作者：
PAEK, E
影响因子：
10.4
作者：
Bueno, J.;Maktoobi, S.;Brunner, D.
通讯作者：
Brunner, D.
影响因子：
1.9
作者：
JAVIDI, B;LI, J;TANG, Q
通讯作者：
TANG, Q
影响因子：
1.8
作者：
McGuire, Morgan;Matusik, Wojciech;Nayar, Shree K.
通讯作者：
Nayar, Shree K.