Die Genauigkeit einer Klassifizierung der Durchlässigkeit bewerten
Eine visuelle Bewertung durchführen
Im ersten Schritt öffnen Sie das Projekt, erkunden die darin enthaltenen Layer und führen eine informelle Bewertung der Klassifizierungsgenauigkeit durch visuelles Überprüfen durch. Zunächst laden Sie das Projekt mit dem Layer für die Durchlässigkeitsklassifizierung und den Referenzbilddaten herunter und öffnen es.
Hinweis:
Sie können zwar Ihre eigenen Ergebnisse aus dem Lernprogramm Versiegelte Flächen aus Spektralbilddaten berechnen verwenden, wenn Sie jedoch unmittelbar heruntergeladene Daten verwenden, können Sie sicher sein, dass die Anzeige auf dem Bildschirm den in diesem Lernprogramm beschriebenen Schritten entspricht.
- Laden Sie die Datei Imperviousness_Classified.zip mit Ihrem Projekt und den entsprechenden Daten herunter.
- Suchen Sie die heruntergeladene Datei auf Ihrem Computer.
Hinweis:
Je nach Web-Browser wurden Sie möglicherweise vor dem Herunterladen aufgefordert, den Speicherort der Datei auszuwählen. In den meisten Browsern werden heruntergeladene Dateien standardmäßig im Ordner "Downloads" gespeichert.
- Klicken Sie mit der rechten Maustaste auf die Datei Imperviousness_Classified.zip und extrahieren Sie sie an einem Speicherort, den Sie leicht wiederfinden, beispielsweise den Ordner "Dokumente".
- Starten Sie ArcGIS Pro. Melden Sie sich mit Ihrem lizenzierten ArcGIS-Organisationskonto an, falls Sie dazu aufgefordert werden.
Hinweis:
Wenn Sie über keinen Zugriff auf ArcGIS Pro oder über kein ArcGIS-Organisationskonto verfügen, informieren Sie sich über die Optionen für den Zugriff auf die Software.
- Klicken Sie auf der Startseite auf Anderes Projekt öffnen.
- Navigieren Sie im Fenster Projekt öffnen zu dem extrahierten Ordner Imperviousness_Classified. Klicken Sie auf Imperviousness_Classified.aprx, um die Datei auszuwählen, und klicken Sie dann auf OK.
Das Projekt wird geöffnet.
Als Nächstes erkunden Sie die Layer, die das Projekt enthält. Der oberste Layer, Louisville_Impervious, ist aktiviert. Er ist das Ergebnis des zuvor durchgeführten Klassifizierungsprozesses und zeigt undurchlässige Oberflächen in grau und durchlässige Oberflächen in grün an. Die Grundkarte Weltweite topografische Karte ist ebenfalls aktiviert und stellt den Kontext für die Layer des Projekts bereit.
- Deaktivieren Sie im Bereich Inhalt das Kontrollkästchen für den Layer Louisville_Impervious, um ihn zu deaktivieren. Aktivieren Sie das Kontrollkästchen Louisville_Neighborhood.tif, um den Layer zu aktivieren.
Louisville_Neighborhood.tif ist eine 4-Band-Luftaufnahme des Gebietes mit einer Auflösung von 6 Zoll, die in der Bandkombination "Natürliche Farbe" (rot, grün und blau) dargestellt ist. Das bedeutet, dass das Bild dem entspricht, was das menschliche Auge sehen würde. Sie verwenden die Luftaufnahme als Referenz, wenn Sie die Genauigkeitsbewertung durchführen.
- Deaktivieren Sie im Bereich Inhalt den Layer Louisville_Neighborhood.tif, und aktivieren Sie den Layer Louisville_Neighborhood_Color_Infrared.
Dieser Layer enthält dieselben Bilddaten, die in der Infrarot-Farbbandkombination (Infrarot, Rot und Grün) angezeigt werden. Die Vegetation ist hier rot hervorgehoben. Sie verwenden die Luftaufnahme auch als Referenz für die Genauigkeitsbewertung. Als Nächstes führen Sie eine informelle Bewertung der Klassifizierungsgenauigkeit durch, indem Sie die Layer visuell vergleichen.
- Deaktivieren Sie im Bereich Inhalt den Layer Louisville_Neighborhood_Color_Infrared, und aktivieren Sie die Layer Louisville_Impervious und Louisville_Neighborhood.tif. Klicken Sie auf den Layer Louisville_Impervious, um ihn auszuwählen.
- Klicken Sie auf dem Menüband auf die Registerkarte Raster-Layer. Klicken Sie in der Gruppe Vergleichen auf Ausblenden.
- Ziehen Sie den Mauszeiger auf der Karte von oben nach unten, um die Bilddaten von Louisville_Neighborhood.tif unter dem Layer Louisville_Impervious einzublenden. Überprüfen und vergleichen Sie die beiden Layer.
Wie genau scheint die Klassifizierung zu sein?
- Sie können optional auch zwischen Louisville_Impervious und Louisville_Neighborhood_Color_Infrared hin- und herwechseln, um die Klassifizierung mit den Infrarot-Farbbildern zu vergleichen.
- Klicken Sie auf dem Menüband auf die Registerkarte Karte. Klicken Sie in der Gruppe Navigieren auf Erkunden, um das Werkzeug Ausblenden zu deaktivieren.
- Klicken Sie auf der Symbolleiste für den Schnellzugriff auf die Schaltfläche Speichern, um das Projekt zu speichern.
Hinweis:
Möglicherweise werden Sie in einer Meldung gewarnt, dass Sie nach dem Speichern der Projektdatei in der aktuellen ArcGIS Pro-Version die Datei nicht mehr in einer früheren Version öffnen können. Wenn diese Meldung angezeigt wird, klicken Sie auf Ja, um fortzufahren.
Punkte für die Genauigkeitsbewertung erstellen
Ein informeller Vergleich des Klassifizierungs-Layers mit den ursprünglichen Bilddaten ist zwar durchaus nützlich, ermöglicht jedoch keine formale Messung der Klassifizierungsgenauigkeit. Wenn Sie mit Ihrer Analyse Niederschlagswassergebühren ermitteln möchten, benötigen Sie einen präziseren Bewertungsprozess. Erstellen Sie zur Durchführung einer formalen Bewertung zufällig generierte Punkte zur Genauigkeitsbewertung im gesamten Bild. Anschließend vergleichen Sie den Klassifizierungswert (durchlässig oder undurchlässig) an der Position des jeweiligen Punktes mit dem tatsächlichen Landnutzungstyp, der in den ursprünglichen Bilddaten dargestellt ist.
Hinweis:
Der Vorgang, bei dem eine Person die tatsächliche Landbedeckung an einer bestimmten Position visuell überprüft, wird als Feldvergleich bezeichnet. Für eine möglichst präzise Genauigkeitsbewertung müsste jemand vor Ort sein, um die Landbedeckung persönlich zu überprüfen; in vielen Fällen wäre eine Reise zum tatsächlichen Standort jedoch nicht möglich oder zu kostenintensiv. Daher ist die Betrachtung der Bilddaten in der Regel die nächstbeste Lösung für den Feldvergleich.
- Klicken Sie im Menüband auf die Registerkarte Analyse. Klicken Sie in der Gruppe Geoverarbeitung auf Werkzeuge.
Daraufhin wird der Bereich Geoverarbeitung angezeigt.
- Suchen Sie im Bereich Geoverarbeitung den Text Punkte für Genauigkeitsbewertung erstellen.
- Klicken Sie in der Ergebnisliste auf Punkte für Genauigkeitsbewertung erstellen (entweder für Image Analyst-Werkzeuge oder Spatial Analyst Tools), um das Werkzeug zu öffnen.
Dieses Werkzeug generiert zufällig über das Bild verteilte Punkte und versieht die Punkte mit einem Attribut, das auf dem klassifizierten Wert des Bildes an der Position des Punktes basiert. Die Punkte weisen außerdem ein Feld für die Überprüfungsdaten (Ground Truth) des ursprünglichen Bildes auf, welches Sie für jeden Punkt manuell ausfüllen.
- Geben Sie im Werkzeug Punkte für Genauigkeitsbewertung erstellen die folgenden Parameter ein:
- Wählen Sie für Eingabe-Raster oder -Feature-Class-Daten den Layer Louisville_Impervious aus.
- Für die Ausgabe-Punkte für Genauigkeitsbewertung klicken Sie auf die Schaltfläche Durchsuchen . Navigieren Sie im angezeigten Fenster zu Projekt, Datenbanken, und doppelklicken Sie auf Neighborhood_Data.gdb. Geben Sie My_Accuracy_Points als Name ein, und klicken Sie auf Speichern.
- Überprüfen Sie, ob unter Zielfeld die Option Klassifiziert ausgewählt ist.
- Geben Sie für Anzahl der zufälligen Punkte den Wert 100 ein.
- Wählen Sie unter Verteilungsstrategie die Option Abgeglichene stratifizierte Zufallsstichprobe aus.
Mit dem Parameter Zielfeld wird festgelegt, ob die Attributtabelle der Punkte den Klassifizierungswert oder den Ground-Truth-Wert beschreibt. Da das Eingabebild das klassifizierte Raster ist, sollten die Punkte die Klassifizierungswerte enthalten.
Mit dem Parameter Anzahl der zufälligen Punkte wird festgelegt, wie viele Punkte erstellt werden sollen. Für ein kleines Bild mit nur zwei Klassen ist eine relativ geringe Anzahl Punkte ausreichend.
Mit dem Parameter Referenzdatenstrategie wird festgelegt, auf welche Weise die Punkte zufällig über das Bild verteilt werden sollen. Die Punkte können proportional zur Fläche jeder Klasse (Stratifizierte Zufallsstichprobe) auf alle Klassen gleich verteilt (Abgeglichene stratifizierte Zufallsstichprobe) oder absolut zufällig verteilt werden (Zufallsprinzip). Da Sie vorwiegend an der Genauigkeit undurchlässiger Oberflächen interessiert sind (mit der kleineren Fläche der beiden Klassen), verteilen Sie die Punkte gleichmäßig auf beide Klassen, um undurchlässige Oberflächen in der Bewertung besser darstellen zu können.
Hinweis:
Die ausgewählten Parameter implizieren die Auswahl von 50 Punkten für die undurchlässigen Oberflächen und 50 Punkten für die durchlässigen Oberflächen.
- Klicken Sie auf Ausführen.
Der Karte wird ein neuer Layer mit 100 Genauigkeitspunkten hinzugefügt.
Schauen Sie sich die Attribute für diese Punkte nun genauer an.
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf den Layer My_Accuracy_Points, und wählen Sie Attributtabelle aus.
Die Attributtabelle wird angezeigt.
Die Attributtabelle enthält Informationen für jede Punktposition. Neben den üblichen Feldern ObjectID und "Shape" weisen die Punkte zwei Attribute auf: Klassifiziert und GrndTruth (oder "Ground Truth"). Die im Feld Klassifiziert enthaltenen Werte lauten entweder 20 oder 40. Diese Zahlen stellen die durch den Klassifizierungsprozess ermittelten Klassen dar, wie sie im Layer Louisville_Impervious angezeigt werden: 20 steht für undurchlässig, 40 für durchlässig. Für das Feld GrndTruth lautet jedoch jeder Wert standardmäßig -1, um zu signalisieren, dass der Wert noch unbekannt ist und für den Punkt ein Feldvergleich durchgeführt werden muss. Sie überprüfen die Bilddaten für jeden Punkt und legen die GrndTruth-Attribute auf 20 bzw. 40 fest, abhängig von der Art der Landbedeckung, die Sie vorfinden.
- Deaktivieren Sie im Bereich Inhalt alle Layer außer My_Accuracy_Points und Louisville_Neighborhood.tif.
Hinweis:
Sie können optional die Farbe der Punkte ändern, um sie besser zu erkennen. Klicken Sie im Bereich Inhalt ggf. mit der rechten Maustaste auf das Symbol unter My_Accuracy_Points, und wählen Sie eine Farbe Ihrer Wahl aus.
Als Nächstes blenden Sie die Spalte Klassifiziert aus, um sicherzustellen, dass Ihre Bewertung während des Feldvergleichprozesses nicht von den vorhandenen Klassifizierungswerten beeinflusst wird.
- Klicken Sie in der Attributtabelle mit der rechten Maustaste auf die Spaltenüberschrift Klassifiziert, und wählen Sie Feld ausblenden aus.
- Klicken Sie in der Attributtabelle auf den Zeilenkopf 1, um das Feature auszuwählen. Klicken Sie mit der rechten Maustaste auf die Zeilenüberschrift, und wählen Sie Zoomen auf aus.
Die Karte wird auf den ausgewählten Punkt gezoomt. (Ihr Punkt wird sich an anderer Stelle befinden als der Punkt im Beispielbild.)
Hinweis:
Bei Bedarf können Sie die Größe des Bereichs der Attributtabelle durch Ziehen am oberen Rand ändern, damit Sie sowohl den Kartenbereich als auch die Attributtabelle sehen können.
In diesem Beispiel befindet sich der Punkt entweder auf Gras oder nackter Erde. In beiden Fällen handelt es sich um eine durchlässige Oberfläche. Ändern Sie das GrndTruth-Attribut für diesen Punkt in 40 für "durchlässig". Befindet sich der erste Punkt auf einer undurchlässigen Oberfläche, wie z. B. Straßen oder Dächer, ändern Sie das Attribut GrndTruth in "20" für "undurchlässig".
Hinweis:
Je nach Kartenausdehnung und Punktposition haben Sie eventuell nicht dicht genug an den Punkt herangezoomt, um festzustellen, um welche Oberflächenbeschaffenheit es sich hier handelt. Dazu können Sie den Punkt einfach näher heranzoomen.
Noch einmal zur Erinnerung: Zu den durchlässigen Oberflächen in diesen Bilddaten gehören Vegetation, Bäume, unbedeckte Erdoberfläche und Wasser. Zu den undurchlässigen Oberflächen gehören Straßen, Auffahrten und Gebäudedächer.
- Doppelklicken Sie in der Spalte GrndTruth der Attributtabelle auf den Wert für das ausgewählte Feature, um ihn zu bearbeiten. Ersetzen Sie den Standardwert je nach Position des Punktes durch 40 oder 20, und drücken Sie die Eingabetaste.
- Wählen Sie den nächsten Punkt in der Attributtabelle aus. Klicken Sie mit der rechten Maustaste auf den Punkt, und wählen Sie Schwenken auf aus.
Die Karte schwenkt zum entsprechenden Punkt, wobei die Zoomstufe beibehalten wird.
- Je nach Position des Punktes ändern Sie den Wert GrndTruth entweder in 20 oder 40.
Hinweis:
Bei manchen Punkten ist die Oberflächenbeschaffenheit nur schwer feststellbar, da die Features auf der Karte nicht eindeutig sind. Bei Bedarf können Sie den Layer Louisville_Neighborhood_Color_Infrared vorübergehend aktivieren, um herauszufinden, ob Sie dadurch eine bessere Ansicht erhalten.
- Wiederholen Sie den Vorgang für die ersten zehn Punkte.
- Klicken Sie auf dem Menüband auf die Registerkarte Bearbeiten. Klicken Sie in der Gruppe Änderungen verwalten auf Speichern, um alle an der Attributtabelle vorgenommenen Änderungen zu speichern. Klicken Sie auf Ja, wenn Sie dazu aufgefordert werden, den Vorgang zu bestätigen.
Sie unterbrechen nun den Feldvergleich, um die Spalte Klassifiziert einzublenden und die Werte in den Spalten Klassifiziert und GrndTruth zu vergleichen.
- Klicken Sie auf die Schaltfläche "Optionen", und wählen Sie Alle Felder anzeigen aus.
Wenn die Spalte Klassifiziert wieder angezeigt wird, überprüfen Sie die Werte in beiden Spalten, und vergleichen Sie sie. Stimmen sie bis jetzt alle überein?
Wenn Sie möchten, können Sie mit der Eingabe der Feldvergleichswerte für alle 100 Genauigkeitspunkte im Layer My_Accuracy_Points fortfahren. Um jedoch in diesem Lernprogramm Zeit zu sparen, können Sie stattdessen eine Point-Feature-Class für die Genauigkeitsbewertung verwenden, in der die Feldvergleichswerte bereits eingegeben sind. Wenn Sie sich für die Verwendung des sofort verwendbaren Layers für Genauigkeitspunkte entscheiden, fügen Sie ihn jetzt der Karte hinzu.
Hinweis:
Wenn Sie die 100 Punkte selbst überprüfen möchten, blenden Sie das Attributfeld Klassifiziert wieder aus, und führen Sie den Vorgang jetzt aus. Klicken Sie auf der Registerkarte Bearbeiten auf Speichern, um alle Änderungen zu speichern. Schließen Sie die Attributtabelle, und fahren Sie mit Schritt 19 fort.
- Klicken Sie auf dem Menüband auf die Registerkarte Ansicht. Klicken Sie in der Gruppe Fenster auf den Bereich "Katalog".
- Blenden Sie im Bereich Katalog unter Projekt die Option Datenbanken und die Geodatabase Neighborhood_Data.gdb ein. Klicken Sie mit der rechten Maustaste auf Accuracy_Points, und wählen Sie Zu aktueller Karte hinzufügen aus.
Der neue sofort verwendbare Layer Accuracy_Points wird im Bereich Inhalt und auf der Karte angezeigt. Den ersten Layer, My_Accuracy_Points, benötigen Sie nicht mehr, daher entfernen Sie ihn.
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf My_Accuracy_Points, und wählen Sie Entfernen aus. Wenn das Pop-up Ein Layer wird entfernt angezeigt wird, klicken Sie auf Verwerfen
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf den Layer Louisville_Neighborhood.tif, und wählen Sie Auf Layer zoomen.
Die Karte wird auf die volle Ausdehnung des Bildes gezoomt.
- Speichern Sie das Projekt.
Tipp:
Zum Speichern des Projekts können Sie auch die Tastenkombination Strg+S drücken.
Eine Konfusionsmatrix berechnen
Nach der Erstellung der Punkte für die Genauigkeitsbewertung und dem Ausfüllen ihrer Attribute mit Überprüfungsdaten verwenden Sie die Punkte zum Erstellen einer Konfusionsmatrix. Unter einer Konfusionsmatrix ist eine Tabelle zu verstehen, die die Attribute Klassifiziert und GrndTruth von Punkten für die Genauigkeitsbewertung miteinander vergleicht und den Prozentsatz der Genauigkeit zwischen ihnen ermittelt. Wenn die als undurchlässig klassifizierten Flächen tatsächlich undurchlässige Flächen in den ursprünglichen Bilddaten darstellen, weist die Konfusionsmatrix einen hohen Prozentsatz auf und zeigt an, dass die Klassifizierung eine hohe Genauigkeit hat.
- Klicken Sie falls nötig auf dem Menüband auf die Registerkarte Analyse. Klicken Sie in der Gruppe Geoverarbeitung auf Werkzeuge, um den Bereich Geoverarbeitung erneut zu öffnen.
- Klicken Sie ggf. im Bereich Geoverarbeitung auf die Schaltfläche Zurück.
- Suchen Sie im Bereich Geoverarbeitung nach dem Werkzeug Konfusionsmatrix berechnen (entweder für Image Analyst-Werkzeuge oder Spatial Analyst Tools), und öffnen Sie es.
Das Werkzeug besitzt nur zwei Parameter: eine Eingabe und eine Ausgabe.
- Legen Sie im Werkzeug Konfusionsmatrix berechnen Folgendes fest:
- Wählen Sie unter Eingabe-Punkte für Genauigkeitsbewertung den Eintrag Accuracy_Points aus.
- Klicken Sie auf Durchsuchen, um zur Ausgabe-Konfusionsmatrix zu gelangen. Geben Sie Confusion_Matrix als Name ein, und klicken Sie auf Speichern.
Hinweis:
Wenn Sie die 100 Punkte selbst eingeben möchten, wählen Sie unter Eingabe-Punkte für Genauigkeitsbewertung den Eintrag My_Accuracy_Points aus.
- Klicken Sie auf Ausführen.
Das Werkzeug wird ausgeführt und die Konfusionsmatrix wird dem Bereich Inhalt hinzugefügt. Da es sich bei der Konfusionsmatrix um eine Tabelle ohne räumliche Daten handelt, wird sie auf der Karte nicht angezeigt.
- Klicken Sie im Bereich Inhalt unter Standalone-Tabellen mit der rechten Maustaste auf Confusion_Matrix, und wählen Sie Öffnen.
Die Tabelle Confusion_Matrix wird angezeigt.
Hinweis:
Wenn Sie die Feldvergleichswerte selbst in den Layer My_Accuracy_Points eingegeben haben, kann die Konfusionsmatrix leicht abweichende Ergebnisse anzeigen.
Die Werte in der Spalte ClassValue fungieren in der Tabelle als Zeilenüberschriften. C_20 und C_40 entsprechen den beiden Klassen im klassifizierten Raster: 20 steht für undurchlässige Oberflächen und 40 für durchlässige Oberflächen. Die Spalten C_20 und C_40 stehen für Punkte mit Überprüfungswerten von 20 oder 40, während die Zeilen C_20 und C_40 Punkte darstellen, die als 20 oder 40 klassifiziert wurden. Unter den obigen Beispielpunkten wurden 47 Punkte mit einem Überprüfungswert von 20 auch als 20 klassifiziert, während ein Punkt mit dem Überprüfungswert 20 fälschlicherweise als 40 klassifiziert wurde. Von insgesamt 100 Punkten wurden vier Punkte falsch klassifiziert (drei als undurchlässig und einer als durchlässig).
U_Accuracy steht für Benutzergenauigkeit. Der Wert symbolisiert den Anteil der Pixel, der von allen Klassifizierungen korrekt klassifiziert wurde. P_Accuracy steht für die Erstellergenauigkeit und repräsentiert den Anteil der Pixel, der von allen Überprüfungsdaten korrekt klassifiziert wurde. Wenn beispielsweise von 50 als undurchlässig klassifizierten Pixeln 47 korrekt klassifiziert wurden, ergibt dies eine Benutzergenauigkeit von 0,94 (oder 94 Prozent). Gleichzeitig waren 48 Punkte gemäß Überprüfung undurchlässig, wovon 47 korrekt klassifiziert worden waren. Dies ergibt eine Erstellergenauigkeit von etwa 0,98 (oder 98 Prozent).
Das letzte Attribut heißt Kappa. Auf der Grundlage der Benutzer- und Erstellergenauigkeit insgesamt liefert es eine allgemeine Bewertung der Genauigkeit der Klassifizierung. Im oben genannten Beispiel beträgt Kappa 0,92 oder 92 Prozent. Eine Gesamtgenauigkeit von 92 Prozent ist zwar nicht perfekt, jedoch ziemlich zuverlässig.
Hinweis:
Wenn der Kappa-Wert unter 85 bzw. 90 Prozent liegt, ist Ihre Klassifizierung wahrscheinlich nicht genau genug und muss überarbeitet und verbessert werden. In zwei Phasen Ihres Workflows kann es zu Klassifizierungsfehlern kommen. Die erste ist die Segmentierung. Wenn das ursprüngliche Bild mit Ihren Segmentierungsparametern zu stark oder zu wenig verallgemeinert wird, könnten Features falsch klassifiziert werden. Sie könnten versuchen, die Segmentierungsparameter etwas zu verstellen, um eine bessere Segmentierung zu erhalten. Alternativ könnten die meisten Fehler von Ihren Trainingsgebieten stammen. Wenn zu wenige Trainingsgebiete angelegt wurden oder die Trainingsgebiete eine zu große Bandbreite von Spektralsignaturen abdecken, kann dies ebenfalls zu Klassifizierungsfehlern führen. Die Genauigkeit lässt sich erhöhen, wenn mehr Beispiele oder weitere Klassen hinzugefügt werden.
- Speichern Sie das Projekt.
Sie können der Stadtverwaltung nun mitteilen, dass Ihre Klassifizierung der undurchlässigen Oberflächen eine Genauigkeit von 92 Prozent aufweist. Dies kann als ausreichend zuverlässig für die Berechnung der Niederschlagswassergebühren gewertet werden.
Weitere Lernprogramme finden Sie in der Lernprogrammgalerie.
