WikiDer > Bildfusion

Die Verschmelzung von Bildern (Bildfusion) ist der Vorgang, bei dem zwei oder mehr Bilder zu einem einzigen Bild kombiniert werden, während wichtige Merkmale jedes einzelnen Bildes erhalten bleiben. Fusion ist eine wichtige Technik in vielen verschiedenen Bereichen, wie z Fernerkundung, Robotik und medizinische Anwendungen.Ein Beispiel hierfür ist die Kombination von zwei Bildern, bei denen jedesObjekt auf ein anderes Objekt fokussiert ist und damit nicht alle Objekte scharf sind,die beiden Bilder werden zu einem Bild verschmolzen, bei dem alle Objekte scharf sind. Ein Beispiel dafür sehen Sie im Bild unten rechts Fusing-Beispiel.

Fusionsbeispiel

^[1][2]

Evolution

Bildfusion

Die ersten Fusionsschemata führten die Fusion direkt auf den Quellbildern durch, was oft schwerwiegende Nebenwirkungen hatte, wie zum Beispiel einen abnehmenden Kontrast.

Mit der Einführung der Pyramidentransformation Mitte der 1980er Jahre begannen eine Reihe fortschrittlicher Methoden aufzutauchen. Es wurde angenommen, dass es besser wäre, die Fusion im Transformationsbereich durchzuführen. Die Pyramidentransformation scheint für diesen Zweck sehr nützlich zu sein. Die Grundidee zur Bildung der Pyramidentransformation des fusionierten Bildes besteht darin, eine Pyramidentransformation an den Quellbildern durchzuführen, dann wird das fusionierte Bild durch die inverse Pyramidentransformation erhalten.Hier sind einige wichtige Vorteile der Pyramidentransformation:

• Es kann Aufschluss über die Schärfe- und Kontrastveränderungen geben, das menschliche Sehsystem reagiert besonders empfindlich auf diese Veränderungen.
• Es kann sowohl eine Raum- als auch eine Frequenzbereichslokalisierung bereitstellen.

Zur Bildfusion werden verschiedene Arten der Pyramidenzerlegung verwendet bzw. entwickelt, wie zum Beispiel:

• Laplace-Pyramide
• Verhältnis-Tiefpass-Pyramide
• Steigungspyramide

Seitdem hat die Bildfusion zunehmende Aufmerksamkeit erfahren, und in jüngster Zeit mit der Entwicklung von Wavelet Theorie begannen sie, die Wavelet-Multiskalenzerlegung für die Bildfusion zu verwenden. Tatsächlich kann die Wavelet-Transformation als eine spezielle Form der Pyramidenzerlegung angesehen werden. Es behält die meisten Vorteile der Bildfusion bei.

2-D DWT

Das folgende Bild zeigt die Struktur eines 2D-Signals mit 3 Level-Zerlegungen.

Nach einer Zerlegungsstufe gibt es vier Frequenzbänder, nämlich Low-Low (LL), Low-High (LH), High-Low (HL) und High-High (HH). Die nächste Zerlegungsstufe gilt nur für das LL-Band der aktuellen Zerlegungsstufe und bildet eine rekursive Zerlegungsprozedur. Somit bildet eine Zerlegung auf N-Ebenen 3n 1 verschiedene Frequenzbänder, die 3N Hochfrequenzbänder und nur ein LL-Frequenzband enthalten. Das 2-D-DWT hat eine pyramidenförmige Struktur, wie in der Abbildung oben gezeigt. Die Frequenzbänder in höheren Zerlegungsstufen haben eine kleinere Größe.

Die Verschmelzung von Bildern ist häufig für Bilder erforderlich, die aus unterschiedlichen Modalitäten, Instrumenten oder Aufnahmetechniken derselben Szene oder Objekte stammen. Zu den wichtigsten Anwendungen der Bildfusion gehören medizinische Bildgebung, mikroskopische Bildgebung, Fernerkundung, Computer Vision und Robotik.

Fusionstechniken reichen von der einfachsten Methode der Pixelmittelung bis hin zu komplizierteren Methoden, wie z Hauptkomponentenanalyse und Wavelet-Transformations-Fusion.Gegenüber, ob die Bilder im räumlichen Bereich fusioniert oder in einen anderenBereich umgewandelt und dann fusioniert werden, können verschiedene Ansätze zurBildfusion unterschieden werden.

Verschiedene Fusionsmethoden

Die folgende Zusammenfassung befasst sich mit verschiedenen Möglichkeiten, wie die Fusion von räumlichen Eingabebildern auf Pixelebene durchgeführt werden kann. Die meisten dieser Verfahren wurden für die Fusion von Standbildern (wie beispielsweise multispektralen Satellitenbildern) entwickelt. Aufgrund des statischen Charakters der Eingabedaten werden zeitliche Aspekte, die sich beim Fusionsprozess von Bildsequenzen ergeben, z.B. Stabilität und Konsistenz, nicht berücksichtigt. Eine generische Klassifikation von Bildfusionsmethoden ist die folgende:

• lineare Überlagerung
• Nichtlineare Methoden
• Optimierungsansätze
• künstliche neurale Netzwerke
• Bildpyramiden
• Wavelet-Transformation
• generisches Fusionsschema mit mehreren Auflösungen

Lineare Überlagerung

Der wahrscheinlich einfachste Weg, ein fusioniertes Bild verschiedener Eingangsframes zu erstellen, stellt die Zusammenführung als gewichtete Überlagerung aller Eingangsframes dar. Die optimalen Gewichtungskoeffizienten hinsichtlich Informationsgehalt und Redundanzentfernung können durch a Hauptkomponentenanalyse (PCA) aller Eingangsintensitäten. Durch die Durchführung von PCA des Kovarianzmatrix der Eingabeintensitäten werden die Anpassungskoeffizienten für jeden Eingaberahmen aus dem dem größten Eigenwert entsprechenden Eigenvektor erhalten.Ein ähnliches Verfahren ist die Linearkombination aller Eingaben in einem vorausgewählten Farbraum (z.B. RGB oder HSV), was zu einer falschen Farbwiedergabe des fusionierten Bildes führt.

Nichtlineare Methoden

Ein anderer einfacher Ansatz zur Bildfusion besteht darin, das fusionierte Bild durch Anwenden eines einfachen nichtlinearen Operators wie Max oder Min zu erstellen.Wenn in allen Eingabebildern die hellen Objekte von Interesse sind, ist eine gute Wahl durch einen Pixel zu berechnen -für-Pixel-Anwendung des maximalen Operators. Eine Erweiterung dieses Ansatzes folgt durch die Einführung von morphologischen Operatoren wie Öffnen oder Schließen. Eine Anwendung ist die Verwendung von bedingten morphologischen Operatoren durch die Definition der Funktionen sehr zuverlässig 'Kern' sind in beiden vorhanden Bilder und eine Reihe von 'potentiellen' Funktionen, die nur in einer Quelle vorhanden sind, wobei der eigentliche Fusionsprozess durch Anwenden von bedingten Erosion- und DilatationsoperatorenEine weitere Erweiterung dieses Ansatzes ist die Bildalgebra, die eine algebraische Erweiterung der Bildmorphologie auf hohem Niveau ist, die entwickelt wurde, um alle Bildverarbeitungsoperationen zu beschreiben. Die in der Bildalgebra beschriebenen Grundtypen sind Wertemengen, Koordinationsmengen, die die Integration unterschiedlicher Auflösungen und Ebenen, Bilder und Vorlagen ermöglichen. Für jeden Grundtyp von binären und unären Operationen gibt es definierte Operationen, die von den grundlegenden Satzoperationen bis hin zu komplexeren Operationen an den Bildern und Schablonen reichen. Bildalgebra wird im Allgemeinen verwendet, um Multisensorbilder zu kombinieren.

Optimierungsansätze

Bei diesem Ansatz zur Bildfusion wird die Fusionsaufgabe als Bayesian ausgedrückt Optimierungsproblem. Unter Verwendung der Multisensor-Bilddaten und eines a-priori-Modells des Fusionsergebnisses versuchen wir, das fusionierte Bild zu finden, das die A-posteriori-Chance maximiert. Aufgrund der Tatsache, dass dieses Problem keine allgemeine Lösung hat, wurden einige Vereinfachungen eingeführt: Alle Eingabebilder werden als beliebige Markov-Felder modelliert, um eine das Fusionsziel beschreibende Energiefunktion zu definieren.Aufgrund der Äquivalenz von beliebigen Gibbs-Feldern und beliebigen Markov Felder kann diese Energiefunktion als Summe sogenannter Dique-Potentiale ausgedrückt werden, wobei nur Pixel in einer vorbestimmten Nachbarschaft das tatsächliche Pixel beeinflussen. Die Fusionsaufgabe besteht dann in einer Maximierung der Energiefunktion.

Künstliche neurale Netzwerke

Inspiriert von der Fusion verschiedener Sensorsignale in biologischen Systemen haben viele Forscher künstliche neuronale Netze bei der Bildfusion auf Pixelebene eingesetzt. Das bekannteste Beispiel für die Verschmelzung verschiedener Bildsensoren in biologischen Systemen wurde in den 1980er Jahren von Newman und Hartline beschrieben: Klapperschlangen (und die allgemeine Familie der Grubenottern) besitzen sogenannte Grubenorgane, die durch ein dichtes Netzwerk empfindlich auf Wärmestrahlung reagieren von Nervenfasern. Der Ausgang dieser Brunnenorgane wird dem Sehnerventektum zugeführt, wo er mit den aus den Augen gewonnenen Nervensignalen kombiniert wird. Newman und Hartline unterscheiden sechs verschiedene Arten von bimodalen Neuronen, die die beiden Signale auf der Grundlage einer komplexen Kombination von Unterdrückung und Verstärkung (Amplifikation) zusammenführen. Mehrere Forscher haben diesen Fusionsprozess modelliert.

Wavelet-Transformationsfusion

Die häufigste Form der Transformationsbildfusion ist die Wavelet-Transformationsfusion^[3]. Allen Transformationsdomänen-Fusionstechniken gemeinsam, werden die transformierten Bilder in der Transformationsdomäne unter Verwendung einer gegebenen Fusionsregel kombiniert und dann zurück in die räumliche Domäne umgewandelt, um das resultierende fusionierte Bild zu ergeben aufgenommene Eingangsbilder ${displaystyle mathrm {I} 1(x,y)}$ und ${displaystyle mathrm {I} 2(x,y)}$ zusammen mit der Fusionsregel Φ. Dann wird die inverse Wavelet-Transformation ω^-1 berechnet und das verschmolzene Bild I(x,y) rekonstruiert.

${displaystyle mathrm {I} (x,y)=omega ^{-1}(phi (omega (mathrm {I} 1(x,y)),omega (mathrm {I} 2(x,y)))) ) }$

Dieser Vorgang ist in der folgenden Abbildung dargestellt.

In der obigen Grafik können wir sehen, dass die Fusionsregeln während des Fusionsprozesses eine sehr wichtige Rolle spielen. Hier sind einige häufig verwendete Fusionsregeln:

Beim Erstellen jedes Wavelet-Koeffizienten für das fusionierte Bild müssen wir bestimmen, welches Quellbild die Koeffizienten besser beschreibt. Diese Informationen werden in der Fusionsentscheidungskarte gespeichert. Die Fusionsentscheidungskarte hat dieselbe Größe wie die Originalbilder. Jeder Wert ist der Index des Quellbildes, der über den entsprechenden Wavelet-Koeffizienten informativer sein kann. Wir entscheiden also über jeden einzelnen Koeffizienten.

Es gibt zwei gängige Methoden: Eine Möglichkeit ist die pixelbasierte Fusionsregel, bei der wir nur das Pixel berücksichtigen, das wir zusammenführen möchten. Der andere Weg besteht darin, nicht nur die entsprechenden Koeffizienten zu berücksichtigen, sondern auch die angrenzenden, beispielsweise ein 3x3- oder ein 5x5-Fenster, wie im obigen Bild dargestellt. Dieses Verfahren wird als fensterbasierte Fusionsregel bezeichnet.Dieses Verfahren befasst sich mit der Tatsache, dass zwischen benachbarten Pixelnüblicherweise eine hohe Korrelation besteht.Es gibt Verfahren zur Bestimmung der Qualität der Fusion, darunter ein quantitativerVergleich.

Diskrete Wavelet-Transformation (DWT) Fusion

Die Grundidee aller Multi-Resolution-Fusion-Schemata besteht darin, dass das menschliche Sehsystem in erster Linie auf lokale Kontraständerungen, beispielsweise die Kanten oder Ecken, reagiert. Im Fall der Wavelet-Transformations-Fusion werden alle jeweiligen Wavelet-Koeffizienten der Eingangsbilder unter Verwendung der Fusionsregel kombiniert. Da die Wavelet-Koeffizienten mit großen Absolutwerten die Informationen über die hervorstechendsten Merkmale der Bilder wie Kanten und Linien enthalten, besteht eine gute Fusionsregel darin, das Maximum der Absolutwerte der entsprechenden Wavelet-Koeffizienten zu nehmen. Eine fortgeschrittenere Methode ist die flächenbasierte Auswahlregel. Der maximale Absolutwert innerhalb eines Fensters wird als Aktivitätsmaß des zentralen Pixels des Fensters verwendet. Eine binäre Entscheidungskarte der gleichen Größe wie die DWT wird erstellt, um die Auswahlergebnisse basierend auf einer maximalen Auswahlregel einzuschließen. Eine ist eine weitere ähnliche Methode. Anstatt eine binäre Entscheidung zu verwenden, werden die resultierenden Koeffizienten durch einen gewichteten Durchschnitt basierend auf der lokalen Aktivität in jedem der Bilder angegeben. Ein anderes Verfahren wird als Kontrastempfindlichkeitsfusion bezeichnet. Dieses Verfahren verwendet die gewichtete Energie im menschlichen Wahrnehmungsbereich, wobei dieser Bereich auf dem Frequenzgang, dh der Kontrastempfindlichkeit des menschlichen Sehsystems basiert. Das Bildfusionsschema dieser Wavelet-Transformation ist eine Erweiterung der Pyramide.^[4]

Komplexe Wavelet-Bildfusion

Die stärker fokussierten Teile der Bilder führen zu größeren Koeffizienten innerhalb dieses Bereichs. Eine einfache Maximumsteuerung wird verwendet, um die kombinierte Koeffizientenkarte zu erstellen. Das resultierende fusionierte Bild wird dann durch Transformieren der kombinierten Koeffizientenkarte unter Verwendung der inversen komplexen Wavelet-Transformation erzeugt. Das Wavelet-Koeffizientenbild zeigt die orientierte Natur der komplexen Wavelet-Teilbänder. Alle mit der diskreten Wavelet-Transformation implementierten Koeffizientenfusionsregeln können auch mit der komplexen Wavelet-Transformation durchgeführt werden. Sie muss jedoch auf die Größe der DT-CWT-Koeffizienten angewendet werden, als ob sie komplex wären. Obwohl mit dem Computer sehr effizient berechenbar, ist die diskrete Wavelet-Transformation nicht verschiebungsinvariant. Die Verschiebungsinvarianz innerhalb der Wavelet-Transformations-Fusion ist für die tatsächliche Gleichung der Koeffizientengröße, die von der Fusionsregel verwendet wird, wesentlich. Dies liegt daran, dass die Größe eines Koeffizienten innerhalb einer Verschiebungsvariantentransformation häufig nicht den tatsächlichen Inhalt an diesem Punkt widerspiegelt. Die Verschiebungsvarianz innerhalb einer DWT ist eine Folge der Unterabtastung, die für eine kritische Dezimierung erforderlich ist. Die diskrete Verschiebungsinvarianz-Wavelet-Transformation (SIDWT) war ein erster Versuch, die Verschiebungsinvarianz in eine DWT durch Verwerfen und Unterabtastung zu integrieren. Die SIDWT hat viel bessere Ergebnisse als die Standard-DWT-Techniken. Die Motivation für den Einsatz des DT-CWT zur Bildfusion ist die Verschiebungsinvarianz.

Leistungsbewertung der Fusion.

Es ist üblich, das Ergebnis der Fusion visuell zu beurteilen. Durch eine visuelle Beurteilung bestimmt das menschliche Urteil die Qualität des Bildes.Einige unabhängige und objektive Beobachter geben dem entsprechenden Bild Punkte und die Endnote ergibt sich aus dem Mittelwert oder dem gewichteten Durchschnitt der einzelnen Punkte. Natürlich hat diese Bewertungsmethode eine Reihe von Nachteilen, nämlich dass sie nicht genau ist und von der Erfahrung des Beobachters abhängt.

Quantitative Bewertung

Eine genaue und wahrheitsgetreue Bewertung des Fusionsprodukts erfordert eine Reihe von quantitativen Bewertungen und Indikatoren. Zur Bewertung eines Fusionsprozesses werden hier zwei verschiedene Messgrößen diskutiert, nämlich die Informationsentropie und der Root Mean Square Error.

Entropie

Eines der quantitativen Maße in der digitalen Bildverarbeitung ist die Entropie. Claude Shannon führte das Entropiekonzept bei der Quantifizierung des Informationsgehalts von Nachrichten ein. Obwohl er die Entropie in der Kommunikation verwendet hat, kann sie auch als Maß verwendet werden und den Informationsgehalt digitaler Bilder quantifizieren: Ein digitales Bild besteht aus Pixeln, die in Reihen und Spalten angeordnet sind. Jedes Pixel wird durch seine Position und seinen Graustufenpegel definiert. Für ein Bild, das aus L Graustufen besteht, ist die Entropie definiert als:

${displaystyle H=-Summe _{i=1}^{L}P(i)log_{2}P(i)}$

wobei H die Wahrscheinlichkeit (hier Häufigkeit) jeder Graustufenstufe ist.Ein digitales Bild vom Typ uint8 (Ganzzahl ohne Vorzeichen 8) hat beispielsweise 256 verschiedene Stufen von 0 (schwarz) und 255 (weiß). Hierbei ist zu beachten, dass bei kombinierten Bildern die Anzahl der Stufen sehr groß ist und die Intensität der Graustufen jedes Pixels eine dezimale Doppelzahl ist. Aber die Gleichung (oben) ist immer noch gültig, um die Entropie zu berechnen. Bei Bildern mit hohem Informationsgehalt ist die Entropie groß. Die größeren Wechsel und Veränderungen in einem Bild ergeben eine größere Entropie, und die scharfen und fokussierten Bilder weisen mehr Veränderungen auf als verschwommene und schlecht fokussierte Bilder. Daher ist die Entropie ein Maß, um die Qualität verschiedener Bilder derselben Szene zu beurteilen.

Der mittlere quadratische Fehler

Der mittlere quadratische Fehler zwischen dem Referenzbild I und dem zusammengeführten Bild ist definiert als: F

${displaystyle RMSE={sqrt {frac {sum _{i=1}^{M}sum _{j=1}^{N}[I(i,j)-F(i,j)]^{2} }{N*M}}}}$

Dabei geben i und j die räumliche Position der Pixel an, M und N sind die Abmessungen der Bilder. Diese Methode eignet sich für Bilder, die aus zwei Objekten bestehen. Zuerst Referenz, wo immer das InFocus-Bild I aufgenommen wurde. Als nächstes zwei Bilder, die aus den Original Bild. In einem Bild ist das erste Objekt scharf und das zweite verschwommen. Im anderen Bild ist das erste Objekt unscharf und das andere ist scharf geblieben. Das verschmolzene Bild sollte beide scharfe Objekte enthalten.Oft ist die wahrnehmbare Qualität des resultierenden verschmolzenen Bildesvon größter Bedeutung. Unter diesen Umständen können quantitative Qualitätsvergleiche oft irreführend oder bedeutungslos sein.

Auswirkung der Wahl des Wavelet-Filters auf DWT- und DT-CWT-basierte Fusion

Es gibt viele verschiedene Auswahlmöglichkeiten von Filtern, um die DWT und DT-CWT zu beeinflussen. Um Phasenstörungen zu vermeiden, können wir Filter mit linearem Phasengang verwenden. Um eine perfekte Rekonstruktion zu erhalten, verwenden wir biorthogonale Filter.

Anwendungen

Navigationshilfe

Damit Helikopterpiloten auch unter schlechten Bedingungen (wie Nebel oder starker Regen) fliegen können, sind diese Helikopter mit mehreren Bildsensoren ausgestattet, die auf dem am Helm des Piloten angebrachten Display angezeigt werden können.Typischerweise zwei Sensoren: Low-Light-Fernsehen (LLTV)-Sensor und ein zukunftsgerichteter Infrarot-(FLIR)-Wärmebildsensor. In der aktuellen Konfiguration kann der Pilot zwischen den beiden Sensoren wählen, die auf dem Display angezeigt werden. Eine gute Verbesserung besteht darin, die beiden Bilder zu einem Bild zu kombinieren.

Zusammenführen von unscharfen Bildern

Aufgrund der begrenzten Schärfentiefe optischer Objektive (insbesondere Objektive mit langer Brennweite) ist es oft nicht möglich, ein Bild mit mehreren zu fokussierenden Objekten vollständig zu fokussieren Nehmen Sie jedes Mal mehrere Fotos mit einem anderen Objekt im Fokus auf und kombinieren Sie sie dann zu einem Bild mit allen Objekten im Fokus.

Medizinische Bildverarbeitung

Mit der Entwicklung neuer fotografischer Verfahren in der medizinischen Diagnostik entsteht das Bedürfnis nach einer sinnvollen (und räumlich korrekten) Kombination aller verfügbaren Datensätze der Fotos. Beispiele für fotografische Geräte sind Computertomographie (CT), Magnetresonanztomographie (MRT) oder die neuere Positronen-Emissions-Tomographie (PET).

Fernerkundung

Eine typische Anwendung der Bildfusion ist die Fernerkundung: Moderne Spektralscanner sammeln einige hundert Spektralbänder, die je nach Bildanalyseaufgabe entweder einzeln visualisiert und verarbeitet oder zu einem einzigen Bild verschmolzen werden können.^[5]