Korrespondenzproblem - Correspondence problem

Für das Problem in der Berechnungstheorie siehe Problem nach der Korrespondenz .

Das Korrespondenzproblem bezieht sich auf das Problem der Feststellung, welche Teile eines Bildes welchen Teilen eines anderen Bildes entsprechen, wobei Unterschiede auf die Bewegung der Kamera, den Zeitablauf und / oder die Bewegung von Objekten auf den Fotos zurückzuführen sind.

Korrespondenz ist ein grundlegendes Problem in der Computer-Vision - der einflussreiche Computer-Vision-Forscher Takeo Kanade hat bekanntlich einmal gesagt, dass die drei grundlegenden Probleme der Computer-Vision sind: "Korrespondenz, Korrespondenz und Korrespondenz!" In der Tat ist Korrespondenz wohl der Schlüsselbaustein in vielen verwandten Anwendungen: optischer Fluss (bei dem die beiden Bilder zeitlich aufeinander folgen) , dichtes Stereovision (bei dem zwei Bilder von einem Stereokamerapaar stammen), Struktur aus Bewegung (SfM) und visueller SLAM (bei dem Bilder aus unterschiedlichen, aber teilweise überlappenden Ansichten einer Szene stammen) und szenenübergreifende Korrespondenz (bei der Bilder vollständig aus unterschiedlichen Szenen stammen).

Überblick

Bei zwei oder mehr Bildern derselben 3D-Szene aus unterschiedlichen Blickwinkeln bezieht sich das Korrespondenzproblem auf die Aufgabe, einen Satz von Punkten in einem Bild zu finden, die als dieselben Punkte in einem anderen Bild identifiziert werden können. Zu diesem Zweck werden Punkte oder Merkmale in einem Bild mit den entsprechenden Punkten oder Merkmalen in einem anderen Bild abgeglichen. Die Bilder können aus einem anderen Blickwinkel, zu verschiedenen Zeiten oder mit Objekten in der Szene aufgenommen werden, die sich im Allgemeinen relativ zur Kamera (n) bewegen.

Das Korrespondenzproblem kann in einer Stereosituation auftreten, wenn zwei Bilder derselben Szene verwendet werden, oder kann auf das Korrespondenzproblem mit N-Ansicht verallgemeinert werden. Im letzteren Fall können die Bilder entweder von N verschiedenen Kameras stammen, die gleichzeitig fotografieren, oder von einer Kamera, die sich relativ zur Szene bewegt. Das Problem wird erschwert, wenn sich die Objekte in der Szene relativ zu den Kameras bewegen.

Eine typische Anwendung des Korrespondenzproblem tritt in Panorama Erstellung oder Stitching - wenn zwei oder mehr Bilder , die nur eine geringe Überlappung aufweisen , sind in einem größeren Verbundbild vernäht werden. In diesem Fall ist es erforderlich, einen Satz entsprechender Punkte in einem Bildpaar identifizieren zu können, um die Transformation eines Bildes zum Zusammenfügen mit dem anderen Bild zu berechnen.

Grundlegende Methoden

Bewegungsschätzung, die die Korrespondenz zwischen Videobildern zeigt

Es gibt zwei grundlegende Möglichkeiten, um die Entsprechungen zwischen zwei Bildern zu finden.

Korrelationsbasiert - Überprüfen, ob ein Ort in einem Bild in einem anderen Bild wie ein anderer aussieht / aussieht.

Feature-basiert - Suchen von Features im Bild und Überprüfen, ob das Layout einer Teilmenge von Features in den beiden Bildern ähnlich ist. Um das Blendenproblem zu vermeiden, sollte ein gutes Merkmal eine lokale Variation in zwei Richtungen aufweisen.

Verwenden

In Computer Vision wird das Korrespondenzproblem für den Fall untersucht, dass ein Computer es automatisch mit nur Bildern als Eingabe lösen sollte. Sobald das Korrespondenzproblem gelöst wurde, was zu einer Reihe von Bildpunkten führt, die korrespondieren, können andere Methoden auf diese Menge angewendet werden, um die Position, Bewegung und / oder Drehung der entsprechenden 3D-Punkte in der Szene zu rekonstruieren .

Das Korrespondenzproblem ist auch die Grundlage der Teilchenbild-Geschwindigkeitsmessungstechnik , die heutzutage auf dem Gebiet der Strömungsmechanik weit verbreitet ist, um die Strömungsbewegung quantitativ zu messen.

Einfaches Beispiel

Um die Entsprechung zwischen Satz A [1,2,3,4,5] und Satz B [3,4,5,6,7] zu finden, finden Sie heraus, wo sie sich überlappen und wie weit ein Satz vom anderen entfernt ist. Hier sehen wir, dass die letzten drei Zahlen in Satz A den ersten drei Zahlen in Satz B entsprechen. Dies zeigt, dass B 2 von links von A versetzt ist.

Einfaches korrelationsbasiertes Beispiel

Eine einfache Methode besteht darin, kleine Flecken zwischen korrigierten Bildern zu vergleichen . Dies funktioniert am besten mit Bildern, die mit ungefähr demselben Blickwinkel und entweder zur gleichen Zeit oder mit wenig bis gar keiner Bewegung der Szene zwischen Bildaufnahmen aufgenommen wurden, z. B. Stereobilder.

Ein kleines Fenster wird über mehrere Positionen in einem Bild geführt. Jede Position wird überprüft, um festzustellen, wie gut sie mit derselben Position im anderen Bild verglichen werden kann. Mehrere nahe gelegene Orte werden für Objekte in einem Bild verglichen, die sich möglicherweise nicht genau an derselben Bildposition im anderen Bild befinden. Es ist möglich, dass es keine Passform gibt, die gut genug ist. Dies kann bedeuten, dass die Funktion nicht in beiden Bildern vorhanden ist, sich weiter bewegt hat als von Ihrer Suche berücksichtigt, zu stark geändert wurde oder von anderen Teilen des Bildes ausgeblendet wird.

Siehe auch

Verweise

Externe Links