Freely scalable and reconfigurable optical hardware for deep learning.
Freely scalable and reconfigurable optical hardware for deep learning.
复制标题
用于深度学习的可自由扩展和可重构光学硬件。
DOI：
10.1038/s41598-021-82543-3
复制
发表时间：
2021-02-04
影响因子：
4.6
通讯作者：
Englund D
中科院分区：
文献类型：
--
作者：
Bernstein L;Sludds A;Hamerly R;Sze V;Emer J;Englund D
随着深度神经网络（DNN）模型的发展越来越大，它们可以达到更高的准确性并解决更复杂的问题。可用的计算功率增加了这种趋势。但是，沟通，热管理，电力传递和时钟的成本阻碍了继续扩展电子处理器的努力。为了提高可伸缩性，我们提出了一个具有内部光学互连和可重构输入值的数字光学神经网络（DONN）。光学消耗的路径长度独立性使发射器与大量任意布置的接收器之间的信息局部性，这使建筑设计的灵活性更大，以规避缩放限制。在概念验证实验中，我们在500个具有3层，完全连接的网络的MNIST图像分类中演示了光学多播。我们还分析了DONN的能耗，并发现当计算单元的间距在M处时，数字光学数据传输比电子设备有益。
As deep neural network (DNN) models grow ever-larger, they can achieve higher accuracy and solve more complex problems. This trend has been enabled by an increase in available compute power; however, efforts to continue to scale electronic processors are impeded by the costs of communication, thermal management, power delivery and clocking. To improve scalability, we propose a digital optical neural network (DONN) with intralayer optical interconnects and reconfigurable input values. The path-length-independence of optical energy consumption enables information locality between a transmitter and a large number of arbitrarily arranged receivers, which allows greater flexibility in architecture design to circumvent scaling limitations. In a proof-of-concept experiment, we demonstrate optical multicast in the classification of 500 MNIST images with a 3-layer, fully-connected network. We also analyze the energy consumption of the DONN and find that digital optical data transfer is beneficial over electronics when the spacing of computational units is on the order of m.
登录
查看更多内容
影响因子：
20.6
作者：
Krishnamoorthy, Ashok V.;Ho, Ron;Cunningham, John E.
通讯作者：
Cunningham, John E.
影响因子：
5.4
作者：
Chen, Yu-Hsin;Krishna, Tushar;Sze, Vivienne
通讯作者：
Sze, Vivienne
影响因子：
64.8
作者：
Esteva A;Kuprel B;Novoa RA;Ko J;Swetter SM;Blau HM;Thrun S
通讯作者：
Thrun S
影响因子：
1.9
作者：
CASASENT, D;JACKSON, J;NEUMAN, C
通讯作者：
NEUMAN, C
影响因子：
1.1
作者：
Jager, R;Grabherr, M;Ebeling, KJ
通讯作者：
Ebeling, KJ