Parallelized computational 3D video microscopy of freely moving organisms at multiple gigapixels per second.
Parallelized computational 3D video microscopy of freely moving organisms at multiple gigapixels per second.
复制标题
DOI：
10.1038/s41566-023-01171-7
复制
发表时间：
2023-05
期刊：
影响因子：
35
通讯作者：
中科院分区：
文献类型：
--
作者：
能够以高速和空间分辨率解析 3D 信息的宽视场显微镜对于研究自由移动模型生物的行为非常理想。然而，设计一种同时优化所有这些特性的光学仪器具有挑战性。现有技术通常需要采集连续图像快照来观察大区域或测量 3D 信息，从而影响速度和吞吐量。在这里，我们推出了 3D-RAPID，这是一种基于 54 个摄像头同步阵列的计算显微镜，可以在 135 cm2 的面积上捕获高速 3D 地形视频，在时空吞吐量超过每秒 5 十亿像素的情况下实现高达每秒 230 帧的速度。 3D-RAPID 采用 3D 重建算法，对于每个同步快照，将所有 54 个图像融合成一个合成图像，其中包括共同配准的 3D 高度图。自监督 3D 重建算法训练神经网络，使用立体重叠冗余和光线传播物理作为唯一的监督机制，将原始光度图像映射到 3D 地形。因此，由此产生的重建过程对于泛化误差具有鲁棒性，并且可以缩放到来自任意大小的相机阵列的任意长的视频。我们通过收集几种自由行为的生物体（包括蚂蚁、果蝇和斑马鱼幼虫）来证明 3D-RAPID 的广泛适用性。
Wide field of view microscopy that can resolve 3D information at high speed and spatial resolution is highly desirable for studying the behaviour of freely moving model organisms. However, it is challenging to design an optical instrument that optimises all these properties simultaneously. Existing techniques typically require the acquisition of sequential image snapshots to observe large areas or measure 3D information, thus compromising on speed and throughput. Here, we present 3D-RAPID, a computational microscope based on a synchronized array of 54 cameras that can capture high-speed 3D topographic videos over an area of 135 cm2, achieving up to 230 frames per second at spatiotemporal throughputs exceeding 5 gigapixels per second. 3D-RAPID employs a 3D reconstruction algorithm that, for each synchronized snapshot, fuses all 54 images into a composite that includes a co-registered 3D height map. The self-supervised 3D reconstruction algorithm trains a neural network to map raw photometric images to 3D topography using stereo overlap redundancy and ray-propagation physics as the only supervision mechanism. The resulting reconstruction process is thus robust to generalization errors and scales to arbitrarily long videos from arbitrarily sized camera arrays. We demonstrate the broad applicability of 3D-RAPID with collections of several freely behaving organisms, including ants, fruit flies, and zebrafish larvae.
登录
查看更多内容
影响因子：
--
作者：
Bambino K;Chu J
通讯作者：
Chu J
影响因子：
4.2
作者：
Mathias JR;Saxena MT;Mumm JS
通讯作者：
Mumm JS
影响因子：
4.4
作者：
Kumar N;Gupta R;Gupta S
通讯作者：
Gupta S
影响因子：
9.2
作者：
Ehrlich, David E.;Schoppik, David
通讯作者：
Schoppik, David
影响因子：
48
作者：
Lobato-Rios, Victor;Ramalingasetty, Shravan Tata;Ramdya, Pavan
通讯作者：
Ramdya, Pavan