End-to-end robust joint unsupervised image alignment and clustering.
End-to-end robust joint unsupervised image alignment and clustering.
复制标题
DOI：
10.1109/iccv48922.2021.00383
复制
发表时间：
2021-10
期刊：
影响因子：
--
通讯作者：
Xu M
中科院分区：
文献类型：
--
作者：
Zeng X;Howe G;Xu M
计算密集的像素到像素的图像对应关系是计算机视觉的基本任务。通常，目标是为了操作或分割的目的而对齐来自相同语义类别的图像对。尽管实现了上级性能，但现有的深度学习对齐方法无法对图像进行聚类;因此，聚类和配对图像需要成为一个单独的费力且昂贵的步骤。给定一个具有不同语义类别的数据集，我们提出了一个多任务模型Jim-Net，它可以直接学习聚类和对齐图像，而无需任何像素级或图像级注释。我们设计了一个配对对齐无监督训练算法，选择性地匹配和对齐图像对从聚类分支。我们的无监督Jim-Net在基准2D图像对齐数据集PF-PASCAL上实现了与最先进的监督方法相当的准确性。具体来说，我们将Jim-Net应用于冷冻电子断层扫描，这是一种革命性的原生亚细胞结构3D显微成像技术。在对七个数据集进行广泛评估后，我们证明了Jim-Net能够系统地发现和恢复原位的代表性大分子结构，这对于揭示细胞功能的分子机制至关重要。据我们所知，Jim-Net是第一个可以同时对齐和聚类图像的端到端模型，与单独执行每个任务相比，它显著提高了性能。
Computing dense pixel-to-pixel image correspondences is a fundamental task of computer vision. Often, the objective is to align image pairs from the same semantic category for manipulation or segmentation purposes. Despite achieving superior performance, existing deep learning alignment methods cannot cluster images; consequently, clustering and pairing images needed to be a separate laborious and expensive step. Given a dataset with diverse semantic categories, we propose a multi-task model, Jim-Net, that can directly learn to cluster and align images without any pixel-level or image-level annotations. We design a pair-matching alignment unsupervised training algorithm that selectively matches and aligns image pairs from the clustering branch. Our unsupervised Jim-Net achieves comparable accuracy with state-of-the-art supervised methods on benchmark 2D image alignment dataset PF-PASCAL. Specifically, we apply Jim-Net to cryo-electron tomography, a revolutionary 3D microscopy imaging technique of native subcellular structures. After extensive evaluation on seven datasets, we demonstrate that Jim-Net enables systematic discovery and recovery of representative macromolecular structures in situ, which is essential for revealing molecular mechanisms underlying cellular functions. To our knowledge, Jim-Net is the first end-to-end model that can simultaneously align and cluster images, which significantly improves the performance as compared to performing each task alone.
登录
查看更多内容
DOI：
10.1126/science.aad2001
发表时间：
2016-03-11
期刊：
Science (New York, N.Y.)
影响因子：
--
作者：
Chang YW;Rettberg LA;Treuner-Lange A;Iwasa J;Søgaard-Andersen L;Jensen GJ
通讯作者：
Jensen GJ
DOI：
10.1109/tpami.2008.113
发表时间：
2008-10-01
影响因子：
23.6
作者：
Evangelidis, Georgios D.;Psarakis, Emmanouil Z.
通讯作者：
Psarakis, Emmanouil Z.
影响因子：
3
作者：
Amat, Fernando;Comolli, Luis R.;Horowitz, Mark
通讯作者：
Horowitz, Mark
影响因子：
6.8
作者：
Briggs, John A. G.
通讯作者：
Briggs, John A. G.
影响因子：
64.5
作者：
Baeuerlein, Felix J. B.;Saha, Itika;Fernandez-Busnadiego, Ruben
通讯作者：
Fernandez-Busnadiego, Ruben