Deep learning-based point-scanning super-resolution imaging.
Deep learning-based point-scanning super-resolution imaging.
复制标题
DOI：
10.1038/s41592-021-01080-z
复制
发表时间：
2021-04
期刊：
影响因子：
48
通讯作者：
Manor U
中科院分区：
文献类型：
--
作者：
Fang L;Monroe F;Novak SW;Kirk L;Schiavon CR;Yu SB;Zhang T;Wu M;Kastner K;Latif AA;Lin Z;Shaw A;Kubota Y;Mendenhall J;Zhang Z;Pekkurnaz G;Harris K;Howard J;Manor U
点扫描成像系统是最广泛使用的高分辨率细胞和组织成像工具之一，受益于任意定义的像素大小。点扫描系统的分辨率、速度、样本保存和信噪比 (SNR) 很难同时优化。我们表明，可以通过使用基于深度学习的对点扫描系统上获取的欠采样图像进行超级采样来缓解这些限制，我们将其称为点扫描超分辨率（PSSR）成像。我们设计了一个“crappifier”，它可以通过计算降低高信噪比、高像素分辨率的地面实况图像，以模拟低信噪比、低分辨率的对应图像，从而训练可以恢复现实世界欠采样图像的 PSSR 模型。对于高时空分辨率荧光延时数据，我们开发了一种“多帧”PSSR 方法，利用相邻帧中的信息来改进模型预测。总之，PSSR 有助于点扫描图像采集，具有其他方式无法达到的分辨率、速度和灵敏度。 PSSR 的所有训练数据、模型和代码均可在 3DEM.org 上公开获取。点扫描超分辨率成像使用深度学习对欠采样图像进行超采样，并实现亚细胞事件的延时成像。随附的“crappifier”可快速生成高质量的训练数据，以实现稳健的性能。
Point-scanning imaging systems are among the most widely used tools for high-resolution cellular and tissue imaging, benefitting from arbitrarily defined pixel sizes. The resolution, speed, sample preservation, and signal-to-noise ratio (SNR) of point-scanning systems are difficult to optimize simultaneously. We show these limitations can be mitigated via the use of Deep Learning-based supersampling of undersampled images acquired on a point-scanning system, which we term point-scanning super-resolution (PSSR) imaging. We designed a “crappifier” that computationally degrades high SNR, high pixel resolution ground truth images to simulate low SNR, low-resolution counterparts for training PSSR models that can restore real-world undersampled images. For high spatiotemporal resolution fluorescence timelapse data, we developed a “multi-frame” PSSR approach that utilizes information in adjacent frames to improve model predictions. In conclusion, PSSR facilitates point-scanning image acquisition with otherwise unattainable resolution, speed, and sensitivity. All the training data, models, and code for PSSR are publicly available at 3DEM.org. Point-scanning super-resolution imaging uses deep learning to supersample undersampled images and enable time-lapse imaging of subcellular events. An accompanying “crappifier” rapidly generates quality training data for robust performance.
登录
查看更多内容
DOI：
10.7171/jbt.15-2602-003
发表时间：
2015-07-01
期刊：
Journal of biomolecular techniques : JBT
影响因子：
--
作者：
Jonkman, James;Brown, Claire M
通讯作者：
Brown, Claire M
影响因子：
13.6
作者：
Keren, Leeat;Bosse, Marc;Angelo, Michael
通讯作者：
Angelo, Michael
使用 Hessian 结构照明显微镜进行快速、长期、超分辨率成像
影响因子：
46.9
作者：
Huang, Xiaoshuai;Fan, Junchao;Chen, Liangyi
通讯作者：
Chen, Liangyi
DOI：
10.1073/pnas.1004037107
发表时间：
2010-09-14
影响因子：
11.1
作者：
Carlton, Peter M.;Boulanger, Jerome;Sedat, John W.
通讯作者：
Sedat, John W.
影响因子：
9.8
作者：
Denk W;Horstmann H
通讯作者：
Horstmann H