Cognitive Computer Vision: Grounding knowledge-based concepts in visual data exploiting the situational and functional contexts

认知计算机视觉：利用情境和功能上下文，在视觉数据中奠定基于知识的概念

• 批准号: 5386463
• 负责人: Privatdozent Dr.-Ing. Sven Wachsmuth
• 金额: --
• 依托单位: Zentrum für Kognitive Interaktionstechnologie
• 依托单位国家: 德国
• 项目类别: Research Fellowships
• 财政年份: 2002
• 资助国家: 德国
• 起止时间: 2001-12-31 至 2003-12-31
• 项目状态: 已结题
• 来源: https://gepris.dfg.de/gepris/projekt/5386463?language=en
• 关键词: Cognitive; Computer; Vision; Grounding; knowledge

In vielen zukunftsträchtigen Anwendungsbereichen, wie z.B. inhaltsbasierter Abfrage von Bilddatenbanken oder flexiblenService-Robotern im Heimbereich, wird im Bereich maschinelles Sehendie Erkennung von Objektkategorien und die Generierung semantischerBeschreibungen (Cognitive Vision) im Gegensatz zur Wiedererkennung individueller Objekte immer wichtiger.Eine Annotation von gespeicherten Bildern oder Bildfolgen per Hand ist bei rasant zunehmender Datenmenge weder bei zentralen Archiven noch für einen Heimanwender leistbar. Service-Roboter müssen sich in einer nicht normierten Umgebung zurechtfinden und mit Gegenständen umgehen können, deren Aussehen dem System im Vorhinein nicht bekannt ist. Man steht damit vor dem bisher ungelösten Problem der generischen Objekterkennung, d.h. ein System kann "meine Lieblingstasse" als Tasse erkennen, obwohl dem System das spezielle Aussehen dieser Tasse unbekannt ist. Stattdessen verwendet das System ein generisches Modell einer Tasse zur Objekterkennung.Das Ziel des Forschungsvorhabens ist ein lernbares generisches Modellsemantischer Objektklassen zu entwickeln. Als Grunddaten werdenText-annotierte Bilder verwendet, die im World Wide Web zahlreich undleicht zugänglich vorhanden sind (z.B. online Möbelkataloge).Die Zuordnung eines Wortes zu einem Bildobjekt ist in diesen Datennicht gegeben und muss zusätzlich gelernt werden. Dies betrifft zumeinen die Detektion der Bildregion (Segmentierungsproblem) zum anderendas Extrahieren der beschreibenen Textphrase (Zuordnungsproblem). Der situative Kontext eines Bildobjektes ist zum einen durch den natürlich sprachlichen Text zum anderen durch weitere Bildobjekte gegeben. Der funktionale Kontext ergibt sich sowohl ausTeil-Ganzes Beziehungen als auch aus dem Textzusammenhang.Ist beispielsweise ein Bild von einer Wandlampe mit dem folgenden Textgegeben: "SMYG wall lamp. Good directional light makes this lamp an ideal reading companion". Kann aufgrund von vielfachem Vorkommen in dem Grunddatensatz das Wort "lamp" mit dem Bildobjekt, das die Form einer Lampe besitzt, verbunden werden. Desweiteren wird das Wort "lamp" in dem Text durch die Modifikation "wall lamp" in einen situativen Kontext und durch die weiteren Wörter "light" und "reading" in einen funktionalen Kontext gestellt.

In vielen zukunftsträchtigen Anwendungsbereichen，wie z.B.基于图像数据库或灵活的服务机器人的图像数据库，在机器人对对象的分类识别和对对象的广义识别的认知视觉（Cognitive Vision）生成中始终是一个重要的问题，一个基于手工的图像数据库或图像数据库的注释是一个非常重要的数据库。服务机器人müssen sich in einer nicht normierten Umgebung zurechtfinden und mit Gegenständen umgehen können，deren Aussehen dem System im Vorhinein nicht bekannt ist.人类对一般物体的识别问题的理解是有限的。一个系统可以作为“我的最爱”，但这个系统的特殊之处在于它是不存在的。统计系统是一种用于对象识别的通用模型。研究领域是一种用于对象识别的通用模型。在万维网上，基本的文本注释图片可以被浏览（z.B.在线Möbelkataloge）。Die Zuordnung eines Wortes zu einem Bildobjekt ist in diesen Datennicht gegeben und muss zusätzlich gelernt韦尔登。图像区域的检测（Segmentierungsproblem）和文本短语的提取（Zuordnungsproblem）都是非常重要的。这种情境性的文本是通过自然的语言文本而形成的。Der funktionale Kontext ergibt sich sowohl ausTeil-Ganzes Beziehungen als auch aus dem Textzusammenhang.Ist beispielsweise ein Bild von einer Wandlampe mit dem folgenden Textgegeben：“SMYG壁灯。良好的定向光使这盏灯成为理想的阅读伴侣”。我们可以在基本的数据库中找到一盏”灯“，它的形状是一盏灯，可以用韦尔登来形容。在一个情境的文本中，通过修改“壁灯”，通过在一个功能性的文本中使用“光”和“阅读”，可以在文本中使用“灯”。