Trainingsdaten generieren
In diesem Workflow erfahren Sie, wie Sie SAMLoRA trainieren, um relevante Features in Bilddaten zu identifizieren, in diesem Fall Gebäude in informellen Siedlungen. Zunächst müssen Sie eine geringe Anzahl an Trainingsdaten generieren, die Beispiele dieser Gebäude in Ihren Bilddaten zeigen. Sie richten das ArcGIS Pro-Projekt ein, überprüfen die bereitgestellten Beispiele und exportieren die Trainingsdaten in das Format, das SAMLoRA erwartet.
Das Projekt einrichten
Sie laden das Projekt herunter, das alle Daten für dieses Lernprogramm enthält, und öffnen es in ArcGIS Pro.
- Laden Sie die Datei Alexandra_Informal_Settlements.zip herunter, und navigieren Sie zur heruntergeladenen Datei auf Ihrem Computer.
Hinweis:
In den meisten Webbrowsern werden heruntergeladene Dateien standardmäßig im Ordner "Downloads" gespeichert.
- Klicken Sie mit der rechten Maustaste auf die Datei Alexandra_Informal_Settlements.zip, und extrahieren Sie sie an einem Speicherort auf Ihrem Computer, beispielsweise in einem Ordner auf dem Laufwerk C:.
- Öffnen Sie den extrahierten Ordner Alexandra_Informal_Settlements. Doppelklicken Sie auf Alexandra_Informal_Settlements.aprx, um das Projekt in ArcGIS Pro zu öffnen.
- Wenn Sie dazu aufgefordert werden, melden Sie sich mit Ihrem ArcGIS-Konto an.
Hinweis:
Wenn Sie über keinen Zugriff auf ArcGIS Pro oder über kein ArcGIS-Organisationskonto verfügen, informieren Sie sich über die Optionen für den Zugriff auf die Software.
Das Projekt wird geöffnet.
Auf der Karte stellt ein Drohnenbild-Layer ein Viertel des Township Alexandra in Südafrika dar. Die Bilddaten sind hochauflösend, wobei jedes Pixel ein Quadrat von etwa 2 x 2 Zentimetern am Boden darstellt. Sie wurden von South Africa Flying Labs aufgenommen. Der Layer wird in ArcGIS Online als Bildkachelservice gespeichert.
Hinweis:
South Africa Flying Labs ist eine gemeinnützige Organisation, die Bilddaten mit Drohnen in Südafrika erstellt und lokale Gemeinden mit dem Wissen und den Fähigkeiten ausstatten möchte, die zur Lösung sozialer Probleme in diesem Land erforderlich sind.
Dieser True-Ortho-Bild-Layer wurde aus mehreren Originaldrohnenbildern abgeleitet. Er wurde in der Anwendung Site Scan for ArcGIS generiert und direkt von Site Scan in ArcGIS Online gespeichert.
Wenn Sie den in diesem Lernprogramm vorgeschlagenen Workflow auf Ihre eigenen Bilddaten anwenden möchten, finden Sie Tipps im Abschnitt Diesen Workflow auf eigene Bilddaten anwenden später in diesem Lernprogramm.
- Vergrößern und verkleinern Sie die Ansicht mit dem Mausrad, um die bebauten Flächen im Bild zu beobachten.
Ein Großteil der bebauten Flächen sind informelle Siedlungen, in denen die Gebäude sehr dicht aneinander gebaut sind und komplexe Muster bilden. Die Dächer bestehen aus Wellblech und weisen unterschiedliche Farben und Wartungszustände auf. Daher haben herkömmliche Deep-Learning-Modelle möglicherweise Schwierigkeiten, solche Gebäude mit einem hohen Maß an Genauigkeit zu identifizieren. Die SAMLoRA-Methode, die Sie in diesem Lernprogramm kennenlernen, ist eine gute Alternative, um qualitativ hochwertige Ergebnisse zu erhalten, ohne dass eine hohe Rechenkapazität erforderlich ist.
Beispiele für informelle Siedlungen erkunden
Sie gehen die Trainingsbeispiele durch, die mit dem Projekt bereitgestellt wurden.
- Aktivieren Sie im Bereich Inhalt das Kontrollkästchen neben dem Layer Training_Area, um ihn zu aktivieren.
Ein orangefarbenes Polygon wird im westlichen Teil der Bilddaten angezeigt. Es stellt die Fläche dar, die ausgewählt wurde, um SAMLoRA auf das Aussehen von informellen Siedlungen zu trainieren.
Hinweis:
In diesem Fall gibt es nur ein Trainingsgebiet. Allerdings ist es möglich, mehrere Trainingsgebiete zu verwenden, die jeweils durch ein anderes Polygon dargestellt werden. Später in diesem Lernprogramm erhalten Sie ein Beispiel für mehrere Trainingsgebiete.
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf den Layer Training_Area, und wählen Sie Auf Layer zoomen aus.
Die Kartenansicht wird auf das Trainingsgebiet vergrößert.
- Aktivieren Sie den Layer Informal_Settlements_Examples.
Im Layer Informal_Settlements_Examples werden alle Gebäude im Trainingsgebiet als hellgraue Polygone angezeigt.
Hinweis:
Der Abschnitt Trainingsgebiete für das Transfer Learning erstellen des Lernprogramms Deep-Learning-Modelle mit Transfer Learning verbessern enthält Schritt-für-Schritt-Anleitungen zum Erstellen eines Trainingsbeispiel-Layers.
Jedes Gebäude im Trainingsgebiet wurde als ein Polygon erfasst. Auch wenn nur wenige Gebäude fehlen, werden dadurch verwirrende Informationen erzeugt und SAMLoRA wird nicht optimal trainiert. In den folgenden Beispielbildern ist der Trainingssatz auf der linken Seite vollständig und kann für das Training verwendet werden. Rechts hingegen fehlen einige Gebäude, was die Trainingsleistung beeinträchtigen würde.
Als Nächstes erkunden Sie die Attributfelder von Informal_Settlements_Examples.
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf den Layer Informal_Settlements_Examples, und wählen Sie Attributtabelle aus.
Jede Zeile in der Tabelle stellt eines der Gebäude-Polygone dar. Das Attribut Class weist den Wert Building auf.
Hinweis:
Dies ist zwar kein wesentlicher Bestandteil dieses Workflows, trotzdem sollten Sie beachten, dass der Wert Building eigentlich eine Beschriftung für den zugrunde liegenden numerischen Wert 1 ist. Weitere Informationen zu diesem Thema finden Sie in dem Abschnitt Diesen Workflow auf eigene Bilddaten anwenden später in diesem Lernprogramm.
Wenn die Trainingsbeispiele mehrere Feature-Typen darstellen, enthält das Feld Class eine Auflistung dieser Typen, z. B. Building, Road und Tree. Auf diese Weise kann SAMLoRA lernen, wie man verschiedene Feature-Typen im Bildmaterial erkennt.
- Schließen Sie die Tabelle.
- Klicken Sie in der Symbolleiste für den Schnellzugriff auf die Schaltfläche Projekt speichern, um das Projekt zu speichern.
Weitere Informationen zu Bildschnipseln für das Training und Zellengröße
Sie verwenden den Beispiel-Polygon-Layer und den Bilddaten-Layer, um Trainingsdaten in einem bestimmten Format zu generieren. Das Trainieren eines Deep-Learning-Modells für einen größeren Bereich erfolgt nicht in einem Durchgang, und es können jeweils nur kleinere Ausschnitte, so genannte "Bildschnipsel" verarbeitet werden. Ein Bildschnipsel besteht aus einer Bildkachel und einer entsprechenden Beschriftungskachel, auf der die Lage der relevanten Objekte (in diesem Fall Gebäude) angezeigt wird. Diese Bildschnipsel werden während des Trainingsprozesses in das Deep-Learning-Modell eingespeist.
Bei der Erstellung von Bildschnipseln ist es wichtig, die optimale Größe zu bestimmen. Damit nahe beieinander liegende Objekte, z. B. Gebäude in informellen Siedlungen, erkannt werden, sollte ein Bildschnipsel sechs bis zwölf Features enthalten. Alternativ kann man auch sagen, dass ein Bildschnipsel mindestens ein oder zwei vollständige Features in der Mitte enthalten sollte und dass um die Mitte herum ausreichend Kontext (oder Hintergrund) angezeigt werden sollte.
Das folgende Beispielbild enthält drei unterschiedlich große Bildschnipsel:
- Bildschnipsel 1 ist zu klein. Er enthält keine vollständigen Features und fast keinen Kontext.
- Bildschnipsel 2 hat eine passende Größe. In der Mitte sind zwei vollständige Features zu sehen und drum herum einige unvollständige Features sowie Kontext.
- Bildschnipsel 3 ist zu groß. Er enthält zahlreiche Features (mehr als 25).
Wie können Sie die Größe der Bildschnipsel ändern? Üblicherweise werden Bildschnipsel verwendet, die 256 x 256 Pixel (oder Zellen) groß sind, sodass Sie diesen Standardwert beibehalten. Sie können jedoch Bildschnipsel unterschiedlicher Größen erzeugen, indem Sie die Größe der Zellen variieren, aus denen sie bestehen. Die oben gezeigten Kacheln wurden beispielsweise mit folgenden Zellgrößen generiert:
- Bildschnipsel 1: 0,02 Meter (2 Zentimeter)
- Bildschnipsel 2: 0,05 Meter (5 Zentimeter)
- Bildschnipsel 3: 0,1 Meter (10 Zentimeter)
Hinweis:
Wenn ein Bildschnipsel eine Zellengröße von 5 Zentimetern aufweist, bedeutet dies, dass jede seiner Zellen ein Quadrat von 5 x 5 cm auf dem Boden darstellt.
Die optimale Bildschnipselgröße hängt von der Größe der Features ab, die Sie identifizieren möchten. So haben z. B. landwirtschaftliche Flächen, Häuser, Autos und Solarpaneele sehr unterschiedliche Größen. Eine Möglichkeit, die optimale Bildschnipselgröße zu ermitteln, ist das Ausprobieren. Sie können eine Zellengröße wählen, die Bildschnipsel erzeugen und sie visuell auswerten. Es gibt noch ausgereiftere Ansätze zur Bestimmung der Bildschnipsel- und Zellgrößen. Diese würden jedoch den Rahmen dieses Lernprogramms sprengen. Für dieses Lernprogramm wurde bestimmt, dass eine Zellengröße von 5 Zentimetern optimal große Bildschnipsel erzeugt, um Gebäude in informellen Siedlungen zu identifizieren.
Die Trainingsdaten exportieren
Als Nächstes generieren Sie die Bildschnipsel für das Training mit dem Werkzeug Trainingsdaten für Deep Learning exportieren.
- Klicken Sie im Menüband auf die Registerkarte Analyse. Klicken Sie in der Gruppe Geoverarbeitung auf Werkzeuge.
- Suchen Sie im Bereich Geoverarbeitung nach Trainingsdaten für Deep Learning exportieren. Klicken Sie in der Liste der Suchergebnisse auf den Eintrag Trainingsdaten für Deep Learning exportieren.
- Legen Sie die folgenden Werkzeugparameter fest:
- Wählen Sie für Eingabe-Raster die Option Alexandra_Orthomosaic aus.
- Geben Sie für Ausgabeordner die Zeichenfolge Informal_Settlements_256_5cm ein. (Hierdurch wird ein Unterordner in Ihrem Projekt erstellt, in dem die Trainingsdaten abgelegt weriden.)
- Wählen Sie für Eingabe-Feature-Class oder klassifiziertes Eingabe-Raster oder Eingabetabelle den Eintrag Informal_Settlements_Examples aus.
- Wählen Sie für Klassenwertefeld die Option Class aus.
- Wählen Sie für Eingabe-Maskenpolygone den Eintrag Training_Area aus.
Es ist wichtig, dass Sie den Layer Training_Area als Maske angeben, da so sichergestellt wird, dass die Bildschnipsel nur in dem Bereich erstellt werden, in dem alle Gebäude beschriftet sind.
Hinweis:
Wenn Sie den Layer Training_Area für Ihre eigenen Daten erstellen müssen, können Sie das Geoverarbeitungswerkzeug Feature-Class erstellen verwenden. Klicken Sie nach Erstellung der Feature-Class auf dem Menüband auf der Registerkarte Bearbeiten auf das Werkzeug Erstellen, um ein oder mehrere Rechteck-Polygone zu verfolgen, die die Bereiche umreißen, in denen Sie Trainingsbeispiele erstellen möchten.
- Behalten Sie für die Parameter Kachelgröße X und Kachelgröße Y die Standardwerte 256 Pixel bei.
- Wählen Sie für Metadatenformat die Option Klassifizierte Kacheln aus.
Klassifizierte Kacheln ist das Metadatenformat, das für das Training eines SAMLoRA-Modells erwartet wird.
Hinweis:
Weitere Informationen zu unterstützten Metadatenformaten für verschiedene Deep-Learning-Modelltypen finden Sie auf der Seite Deep-Learning-Modellarchitekturen. Auf der Dokumentationsseite Trainingsdaten für Deep Learning exportieren erfahren Sie mehr über die im Werkzeug aufgelisteten Parameter.
- Klicken Sie im Werkzeugbereich auf die Registerkarte Umgebungen.
- Geben Sie für Zellengröße den Wert 0.05 ein.
Die Zellengröße beträgt 0,05 Meter bzw. 5 Zentimeter. Wie im vorherigen Abschnitt erwähnt, stellt diese Zellengröße sicher, dass die generierten Kacheln eine geeignete Größe haben, damit Gebäude in informellen Siedlungen identifiziert werden können.
Hinweis:
Durch die Auswahl der Zellengröße für Ihre Bildschnipsel wird die ursprüngliche Auflösung der eingegebenen Bilddaten nicht verändert. Das Werkzeug nimmt ein sofortiges Resampling der Daten vor, um Bildschnipsel der gewünschten Zellengröße zu erstellen.
Weitere Informationen dazu, wie Sie die Eigenschaften Ihrer Bilddaten einschließlich der Zellengröße ermitteln, finden Sie in dem Abschnitt Diesen Workflow auf eigene Bilddaten anwenden später in diesem Lernprogramm. Weitere Informationen zur Zellengröße von Bilddaten und zur Auflösung erhalten Sie auch in dem Lernprogramm Bilddaten erkunden: Räumliche Auflösung.
- Klicken Sie auf Ausführen.
Nach kurzer Zeit wird die Ausführung des Werkzeugs beendet.
Die Trainingsdaten untersuchen
Als Nächstes untersuchen Sie die generierten Bildschnipsel. Zuerst deaktivieren Sie den Layer mit den Gebäudebeispielen, damit die Karte übersichtlicher ist.
- Deaktivieren Sie im Bereich Inhalt das Kontrollkästchen neben Informal_Settlements_Examples, um den Layer zu deaktivieren.
Sie navigieren zu dem Ordner, in dem das Bild und die Bildschnipsel gespeichert sind.
- Klicken Sie auf dem Menüband auf die Registerkarte Ansicht. Klicken Sie in der Gruppe Fenster auf den Bereich "Katalog".
- Blenden Sie im Bereich Katalog unter Ordner die Ordner Alexandra_Informal_Settlements und Informal_Settlements_256_5cm ein.
Der Ordner Informal_Settlements_256_5cm enthält die Ordner images und labels.
- Blenden Sie den Ordner labels ein.
Dieser Ordner enthält 128 Beschriftungskacheln im TIFF-Format.
- Klicken Sie mit der rechten Maustaste auf das erste Bild, 000000000000.tif, und wählen Sie Zu aktueller Karte hinzufügen aus.
- Wenn Sie aufgefordert werden, die Statistiken zu berechnen, klicken Sie auf Ja.
Die Beschriftungskachel wird auf der Karte angezeigt. Es handelt sich um ein Raster, in dem jede Zelle den Wert 0 oder 1 aufweisen kann. Zellen mit dem Wert 1 werden weiß angezeigt und geben Gebäudeflächen an. Zellen mit dem Wert 0 werden schwarz angezeigt und geben Flächen ohne Gebäude an.
- Blenden Sie im Bereich Katalog den Ordner images ein.
Dieser Ordner enthält 128 Bildkacheln im TIFF-Format. Jede Beschriftungskachel hat eine entsprechende Bildkachel. Die Bildkachel 000000000000.tif ist beispielsweise ein kleiner Bilddatenausschnitt, der der Beschriftungskachel 000000000000.tif entspricht, wie im folgenden Beispielbild dargestellt:
Das Deep-Learning-Modell SAMLoRA lernt anhand der Beschriftungskacheln, wie die Gebäude aussehen und wo sie sich befinden.
- Optional können Sie den Layer Alexandra_Orthomosaic deaktivieren und der Karte Bildkacheln hinzufügen, um sie zu untersuchen. Sie können der Karte auch weitere Beschriftungskacheln hinzufügen.
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf die Beschriftungskachel 000000000000.tif, und wählen Sie Entfernen aus. Entfernen Sie alle anderen Beschriftungs- und Bildkacheln, die Sie der Karte hinzugefügt haben.
Tipp:
Wenn Sie mehr numerische Informationen zu Beschriftungskacheln anzeigen möchten, klicken Sie im Bereich Katalog unter dem Ordner labels mit der rechten Maustaste auf die Datei stats.txt, und wählen Sie Im Datei-Explorer anzeigen aus. Diese Datei enthält Statistiken, z. B. die minimale, mittlere (durchschnittliche) und maximale Anzahl an Features (in diesem Fall Gebäuden) pro Bildschnipsel.
- Drücken Sie in ArcGIS Pro Strg+S, um das Projekt zu speichern.
Bisher haben Sie das Projekt eingerichtet, einen Polygon-Layer erkundet, der Beispiele für informelle Siedlungen darstellt, etwas über Bildschnipsel für das Training und die Zellengröße gelernt, Beschriftungen und Bildschnipsel für das Training generiert und die Ausgabe untersucht.
Ein SAMLoRA-Modell für informelle Siedlungen trainieren
Als Nächstes verwenden Sie die Trainingsdaten, die Sie generiert haben, um das SAMLoRA-Grundlagenmodell für Deep Learning zu trainieren und ihm beizubringen, die Gebäude informeller Siedlungen in Ihren Bilddaten zu identifizieren. Anschließend überprüfen Sie das trainierte Modell, um es besser zu verstehen.
Das SAMLoRA-Modell trainieren
Zunächst trainieren Sie das Modell mit dem Werkzeug Deep-Learning-Modell trainieren.
- Klicken Sie am unteren Rand des Bereichs Katalog auf die Registerkarte Geoverarbeitung.
- Klicken Sie im Bereich Geoverarbeitung mehrmals auf die Schaltfläche Zurück, bis wieder das Suchfeld angezeigt wird.
- Suchen Sie nach dem Werkzeug Deep-Learning-Modell trainieren, und öffnen Sie es.
- Klicken Sie für Eingabe-Trainingsdaten auf die Schaltfläche Durchsuchen. Navigieren Sie zu Folders > Alexandra_Informal_Settlements, wählen Sie Informal_Settlements_256_5cm aus, und klicken Sie auf OK.
- Geben Sie für Ausgabeordner die Zeichenfolge Informal_Settlements_256_5cm_SAMLoRA ein.
Mit diesem Parameter wird in Ihrem Projekt ein Unterordner (unter Folders > models) zum Speichern des resultierenden trainierten Modells erstellt.
- Geben Sie für Max. Epochen den Wert 50 ein.
Eine Epoche entspricht einem vollständigen Durchlauf des gesamten Trainings-Dataset.
- Wählen Sie für Modelltyp die Option SAMLoRA (Pixelklassifizierung) aus.
- Blenden Sie Datenvorbereitung ein. Wenn der dedizierte NVIDIA-GPU-Speicher 4 GB beträgt, geben Sie für Batch-Größe den Wert 2 ein. Bei 8 GB geben Sie 4 ein.
Der Wert für die Batch-Größe wirkt sich nur auf die Geschwindigkeit des Trainingsvorgangs aus, nicht auf die Qualität der Ausgabe.
Tipp:
Ein guter Ausgangswert bei der Entscheidung über den Wert für Batch-Größe ist die Hälfte des dedizierten Speichers der GPU in GB. Wenn Sie zum Beispiel 16 GB dedizierten GPU-Speicher haben, verwenden Sie zunächst 8 für die Batch-Größe. Wenn Sie nicht sicher sind, beginnen Sie mit 2.
Wenn Sie präzisere Einstellungen verwenden möchten, können Sie die GPU-Speicherauslastung live untersuchen. Öffnen Sie die Eingabeaufforderung über das Windows-Startmenü, und fügen Sie den Befehl nvidia-smi -l -5 ein. Beobachten Sie die Speichernutzung während der Ausführung von Deep-Learning-Werkzeugen.
Wenn das Maximum nicht erreicht wird, können Sie die Batch-Größe bei der nächsten Ausführung des Werkzeugs erhöhen.
- Blenden Sie die Option Erweitert ein. Wählen Sie für Backbone-Modell die Option ViT-B aus.
"B" steht für "Basic". Mit dieser Option wird das SAMLoRA-Modell mit einem kleineren (einfachen) neuronalen Netzwerk trainiert.
- Vergewissern Sie sich, dass für Kennwert überwachen die Option Validierungsverlust ausgewählt ist.
Dieser Kennwert misst, wie gut das Modell das Gelernte für neue Daten generalisiert.
- Vergewissern Sie sich, dass die Option Beenden, wenn sich das Modell nicht mehr verbessert aktiviert ist, um eine Überanpassung des Modells zu verhindern.
Hinweis:
Wenn Sie ein größeres Trainings-Dataset und dedizierten GPU-Speicher von mindestens 8 GB haben, können Sie das Deep-Learning-Modell mit einem größeren Backbone-Modell wie beispielsweise ViT-L (groß) oder ViT-H (sehr groß) trainieren.
Jetzt können Sie das Werkzeug ausführen.
Hinweis:
Für dieses Lernprogramm wird eine NVIDIA-GPU mit mindestens 8 GB dediziertem Speicher empfohlen. Je nachdem, ob Ihr Computer über eine GPU verfügt und wie deren Spezifikationen lauten, kann dieser Vorgang zwischen weniger als 2 Minuten und 20 Minuten oder mehr dauern. Alternativ können Sie ein bereits für Sie trainiertes Modell verwenden. Führen Sie in diesem Fall das Werkzeug nicht aus, und lesen Sie diesen Abschnitt bis zum Ende. Sie erhalten später Anweisungen zum Abrufen des bereitgestellten Modells.
Wenn Sie nicht sicher sind, ob Ihr Computer über eine GPU verfügt und wie deren Spezifikationen lauten, lesen Sie den Abschnitt GPU-Verfügbarkeit prüfen im Lernprogramm Auf Deep-Learning-Workflows in ArcGIS Pro.
- Wenn Sie den Prozess selbst ausführen möchten, klicken Sie auf Ausführen. Klicken Sie, während das Werkzeug ausgeführt wird, auf Details anzeigen, um weitere Informationen zum Trainingsvorgang anzuzeigen.
Tipp:
Die gleichen Informationen können Sie auch im Bereich Verlauf abrufen. Klicken Sie auf dem Menüband auf der Registerkarte Analyse in der Gruppe Geoverarbeitung auf Verlauf. Klicken Sie im Bereich Verlauf mit der rechten Maustaste auf den Prozess Deep-Learning-Modell trainieren, und wählen Sie die Option Details anzeigen aus.
- Klicken Sie im Detailfenster auf die Registerkarte Meldungen, und überwachen Sie den Kennwert Validierungsverlust.
Je kleiner der Wert für den Validierungsverlust, umso besser. Der Wert nimmt mit jeder Epoche allmählich ab, während das Modell besser darin wird, Gebäudeflächen erfolgreich zu identifizieren. Wenn sich der Wert nicht mehr signifikant verändert, wird das Training beendet. Parallel dazu erhöhen sich die Kennwerte Accuracy und Stückeln (dritte und vierte Spalte) stetig. Mit diesen Kennwerten wird die Modell-Performance gemessen.
Hinweis:
Da das Deep-Learning-Training ein nicht deterministischer Prozess ist, können die Informationen auf der Registerkarte Meldungen anders als in den Beispielabbildungen aussehen.
- Überprüfen Sie nach Ende des Trainings die Zahlen für Accuracy und Precision für Gebäude.
In der Beispielabbildung beträgt die allgemeine Accuracy 8,9250e-01 oder 89,25 Prozent. Bei diesem Anwendungsfall sollte sie zwischen 85 und 95 Prozent liegen. Da Sie konkret Gebäude identifizieren möchten, ist der Wert Precision für Gebäude der beste Messwert für die Performance des Modells. In diesem Fall beträgt der Wert 0,8913 oder 89,13 Prozent. (Ihre Werte können anders lauten.)
- Schließen Sie das Detailfenster.
Das trainierte SAMLoRA-Modell überprüfen
Eine Möglichkeit, mehr über Ihr trainiertes SAMLoRA-Modell zu erfahren, besteht darin, es mit dem Werkzeug Deep-Learning-Modelle überprüfen zu betrachten.
- Klicken Sie auf dem Menüband auf die Registerkarte Bilddaten. Klicken Sie in der Gruppe Bildklassifizierung auf Deep Learning Tools, und wählen Sie Deep-Learning-Modelle überprüfen aus.
- Klicken Sie im Bereich Deep-Learning-Modell-Reviewer für Modell auf die Schaltfläche Durchsuchen.
- Navigieren Sie zu Folders > Alexandra_Informal_Settlements > models, wählen Sie Informal_Settlements_256_5cm_SAMLoRA aus, und klicken Sie auf OK.
- Suchen Sie im Bereich Deep-Learning-Modell-Reviewer das Diagramm unter Trainings- und Validierungsverlust.
Dieses Diagramm zeigt Details zur Lernfähigkeit des Modells. Trainingsverlust (in Blau) zeigt, wie gut das Modell anhand der Trainingsdaten gelernt hat, während Validierungsverlust (in Orange) angibt, wie gut das Modell in der Lage war, das Gelernte für neue Daten zu generalisieren. (Ihr Diagramm kann anders aussehen.) Im letzten Teil des Trainings bildeten die Kurven für Trainings- und Validierungsverlust asymptotische Linien.
Dieses Phänomen wird als Konvergenz bezeichnet. Wenn das Training über diese Phase hinaus fortgesetzt wird, verbessert sich die Performance des Modells möglicherweise bei Trainingsdaten im Vergleich zu Validierungsdaten. Dies ist ein Zeichen, dass die Trainingsdaten überangepasst werden und nicht mehr für neue Daten generalisiert werden können.
- Überprüfen Sie die anderen Informationen im Bereich, beispielsweise Modelltyp, Backbone, allgemeine Accuracy und Epochendetails.
Hinweis:
Weitere Informationen zu den Angaben in diesem Bereich finden Sie in der Dokumentation auf der Seite Überprüfen des Deep-Learning-Modells.
- Wenn Sie mit dem Überprüfen der Modellinformationen fertig sind, schließen Sie den Bereich Deep-Learning-Modell-Reviewer.
- Drücken Sie Strg+S, um das Projekt zu speichern.
Sie haben nun das SAMLoRA-Grundlagenmodell für Deep Learning trainiert, um ihm beizubringen, die Gebäude informeller Siedlungen zu identifizieren.
Informelle Siedlungen mit SAMLoRA klassifizieren und extrahieren
Sie können jetzt informelle Siedlungen aus Ihren Bilddaten extrahieren. Zunächst wenden Sie das trainierte SAMLoRA-Modell auf Ihre Bilddaten an, um die Pixel als Gebäude oder kein Gebäude zu klassifizieren. Dieser Prozess wird als Inferenzierung bezeichnet. Dann leiten Sie Gebäude-Footprint-Polygone ab. Abschließend untersuchen Sie erweiterte Ergebnisse, um die Leistungsfähigkeit der SAMLoRA-Methode bei der Extraktion verschiedener Objekttypen für größere Ausdehnungen zu verstehen.
Informelle Siedlungen klassifizieren
Zunächst wenden Sie das trainierte SAMLoRA-Modell auf Ihre Bilddaten an. Hierzu verwenden Sie das Werkzeug Pixel mit Deep Learning klassifizieren. Um den Workflow in diesem Lernprogramm zu beschleunigen, führen Sie den Prozess für eine kleine Ausdehnung aus. In der Realität könnten Sie jedoch sehr große Mengen an Bilddaten verarbeiten.
- Klicken Sie auf dem Menüband auf die Registerkarte Karte. Klicken Sie in der Gruppe Navigieren auf Lesezeichen, und wählen Sie das Lesezeichen Inferencing Area aus.
Die Kartenansicht wird auf das Lesezeichen gezoomt.
- Klicken Sie im Bereich Geoverarbeitung auf die Schaltfläche Zurück. Suchen Sie nach dem Werkzeug Pixel mit Deep Learning klassifizieren, und öffnen Sie es.
- Legen Sie die folgenden Werkzeugparameter fest:
- Wählen Sie für Eingabe-Raster die Option Alexandra_Orthomosaic aus.
- Geben Sie als Ausgabe-Raster-Dataset den Namen Informal_Settlements_Raster ein.
- Klicken Sie bei Modelldefinition auf die Schaltfläche Durchsuchen. Navigieren Sie zu Ordner > Alexandra_Informal_Settlements > models > Informal_Settlements _256_5cm_SAMLoRA, wählen Sie Informal_Settlements _256_5cm_SAMLoRA.dlpk aus, und klicken Sie auf OK.
- Geben Sie für batch_size denselben Wert ein, den Sie zuvor verwendet haben (z. B. 2, wenn der dedizierte GPU-Speicher 4 GB beträgt).
Hinweis:
Wenn Sie das Modell nicht selbst trainiert haben, verwenden Sie für Modelldefinition das bereitgestellte Modell, das sich unter Ordner > Alexandra_Informal_Settlements > Provided_Data > models > Informal_Settlements _256_5cm_SAMLoRA befindet.
- Klicken Sie im Werkzeugbereich auf die Registerkarte Umgebungen.
- Klicken Sie unter Verarbeitungsausdehnung auf die Schaltfläche Aktuelle Anzeigeausdehnung.
Mit diesem Parameter wird sichergestellt, dass nur die aktuell auf der Karte angezeigte Fläche verarbeitet wird.
- Geben Sie für Zellengröße den Wert 0.05 ein, damit er der Zellengröße entspricht, die Sie beim Training von SAMLoRA verwendet haben.
Hinweis:
Der Vorgang im Werkzeug kann von unter einer Minute bis zu 15 Minuten dauern, je nachdem, ob Sie einen Grafikprozessor haben und wie dieser ausgestattet ist. Wenn Sie den Prozess nicht selbst ausführen möchten, können Sie eine bereitgestellte Ausgabe verwenden. Navigieren Sie im Bereich Katalog zu Datenbanken > Provided_Data.gdb, klicken Sie mit der rechten Maustaste auf Informal_Settlements_Raster, und wählen Sie Zu aktueller Karte hinzufügen.
- Wenn Sie den Prozess selbst ausführen möchten, klicken Sie auf Ausführen.
Nach Abschluss des Vorgangs wird der neue Raster-Layer auf der Karte angezeigt.
Jedes Pixel in den Bilddaten für die ausgewählte Ausdehnung wurde klassifiziert, und das Ergebnis wurde im Ausgabe-Raster erfasst: Flächen, die zu einem Gebäude einer informellen Siedlung gehören, wurde der Wert 1 (hellorange) zugewiesen. Nicht bebauten Flächen wurde der Wert 0 (transparent) zugewiesen.
Hinweis:
Die Farbe wird nach dem Zufallsprinzip zugewiesen und kann daher variieren.
Gebäude-Footprint-Polygone ableiten und bereinigen
Nachdem Sie mit GeoAI Tools ein Ausgabe-Raster erzeugt haben, bearbeiten Sie es nach. Ziel ist es, einen Layer zu erhalten, in dem die Gebäude-Footprints als Polygone dargestellt werden. Sie verwenden ein benutzerdefiniertes Werkzeug, das die folgenden wichtigen Schritte enthält:
- Verwenden Sie das Werkzeug Raster in Polygon, um einen Polygon-Layer einzurichten.
- Verwenden Sie das Werkzeug Gebäudegrundrisse vereinfachen, um die Polygon-Formen zu normalisieren und zu glätten.
- Entfernen Sie die Polygone, die zu klein sind, um Gebäude zu sein.
- Nutzen Sie das Werkzeug Zusammenführen, um überlappende Polygone zu entfernen.
Zuerst rufen Sie eine Toolbox ab, die das Werkzeug enthält und in ArcGIS Online gehostet wird.
- Klicken Sie im Bereich Katalog auf die Registerkarte Portal und die Schaltfläche ArcGIS Online. Geben Sie im Suchfeld Post_Deep_Learning_Workflows owner:Esri_Tutorials ein, und drücken Sie die Eingabetaste.
Klicken Sie in den Suchergebnissen mit der rechten Maustaste auf Post_Deep_Learning_Workflows, und wählen Sie Zu Projekt hinzufügen aus.
Die Toolbox wird in Ihr lokales Projekt heruntergeladen.
- Klicken Sie im Bereich Katalog auf die Registerkarte Projekt. Blenden Sie Toolboxes und PostDeepLearning.pyt ein.
Die Toolbox enthält zwei Tools, darunter eines zur Nachbearbeitung von Gebäuden.
Hinweis:
Das Werkzeug zur Nachbearbeitung von Gebäuden sollte für alle Gebäudetypen funktionieren, nicht nur für informelle Siedlungen.
Optional können Sie auf GitHub den Quellcode für diese benutzerdefinierte Toolbox prüfen.
- Klicken Sie mit der rechten Maustaste auf Nachbearbeitung von Gebäuden aus Raster-Ausgabe, und wählen Sie Öffnen aus.
- Wählen Sie als Eingabe-Raster das Raster Informal_Settlements_Raster aus.
- Wählen Sie unter Feldname für Raster in Polygon den Eintrag Class aus.
Dieses Feld enthält den Klassenwert Building.
- Wählen Sie unter Einzelwert des ausgewählten Feldes den Wert Building aus.
Das Werkzeug konzentriert sich nur auf die Raster-Zellen, die mit diesem Wert beschriftet sind.
- Geben Sie unter Ausgabe-Feature-Class den Text Informal_Settlements_Final ein.
Diese Ausgabe ist die endgültige Feature-Class. Sie wird in der Standard-Projektdatenbank gespeichert.
Hinweis:
Wenn Ihr Eingabe-Raster kein Class-Attribut hat, wählen Sie für Feldname für Raster in Polygon die Option Wert, und wählen Sie für Einzelwert des ausgewählten Feldes die Zahl, die den für Sie interessanten Features entspricht, z. B. 1.
- Klicken Sie auf Ausführen.
Der Ausgabe-Layer wird angezeigt. Sie wieisen dem Layer dieselbe Symbolisierung zu wie dem Layer Informal_Settlements_Examples, den Sie zuvor im Workflow verwendet haben.
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf Informal_Settlements_Examples, und wählen Sie Kopieren aus.
- Klicken Sie mit der rechten Maustaste auf Informal_Settlements_Final, und wählen Sie Eigenschaften einfügen aus.
Der Layer wird mit der hellgrauen Symbolisierung aktualisiert. Sie deaktivieren den Raster-Layer, damit die Karte übersichtlicher ist.
- Deaktivieren Sie im Bereich Inhalt den Layer Informal_Settlements_Raster.
Sie verwenden das Werkzeug Vergleichen, um den endgültigen Ausgabe-Layer mit den ursprünglichen Bilddaten zu vergleichen.
- Klicken Sie im Bereich Inhalt auf den Layer Informal_Settlements_Final, um ihn auszuwählen.
- Klicken Sie auf dem Menüband auf die Registerkarte Feature-Layer. Klicken Sie in der Gruppe Vergleichen auf Ausblenden.
- Ziehen Sie auf der Karte von oben nach unten, um den Layer Informal_Settlements_Final zu entfernen und die Bilddaten Alexandra_Orthomosaic darunter anzuzeigen.
Die Gebäude-Footprint-Polygone entsprechen sehr genau den in den Bilddaten vorhandenen Gebäuden.
- Klicken Sie auf dem Menüband auf die Registerkarte Karte. Klicken Sie in der Gruppe Navigieren auf die Schaltfläche Erkunden.
Erweiterte Ergebnisse auswerten
Bisher haben Sie informelle Siedlungen für eine geringe Ausdehnung extrahiert, um den Workflow zu beschleunigen. Als Nächstes untersuchen Sie die Ausgabe für die gesamte Ausdehnung der Drohnenbilder. Sie befassen sich zudem mit der Möglichkeit, mit der SAMLoRA-Methode mehr als einen Feature-Typ zu extrahieren. In diesem Fall wurden folgende Features extrahiert:
- Verschiedene Gebäudetypen, von informellen, kleineren bis hin zu standardmäßigen, größeren Gebäuden
- Unterschiedliche Straßentypen, von engen, nicht asphaltierten bis hin zu großen, asphaltierten Straßen
Zuerst öffnen Sie eine Karte mit diesen Beispielen.
- Erweitern Sie im Bereich Katalog die Option Karten. Klicken Sie mit der rechten Maustaste auf Explore Outputs, und wählen Sie Öffnen aus.
Die Karte Explore Outputs wird geöffnet. Jetzt ist nur der Bilddaten-Layer Alexandra_Orthomosaic aktiviert. Sie aktivieren weitere Layer und überprüfen sie.
- Aktivieren Sie im Bereich Inhalt die Layer Expanded_Training_Areas und Buildings_and_Roads_Examples.
Diesmal gibt es mehrere orangefarbene Polygone, die jeweils ein anderes Trainingsgebiet abgrenzen. In diesen Trainingsgebieten geben die grauen Beispiele unterschiedliche Gebäude- und Straßenarten an.
- Vergrößern und schwenken Sie die Karte, um die Gebäude- und Straßenbeispiele zu untersuchen.
- Klicken Sie im Bereich Inhalt mit der rechten Maustaste auf Buildings_and_Roads_Examples, und wählen Sie Attributtabelle aus.
- Führen Sie in der Attributtabelle Buildings_and_Roads_Examples einen Bildlauf nach unten durch, um die Werte für Class zu prüfen.
In diesem Fall sind zwei Werte möglich: Building und Road. Das SAMLoRA-Modell lernt anhand dieser Informationen, die beiden Feature-Typen zu identifizieren.
- Schließen Sie die Tabelle.
Nach dem gleichen Workflow wie in diesem Lernprogramm wurden diese Beispiele als Eingaben zum Generieren von Trainingsdaten verwendet. Dann wurde das SAMLoRA-Modell trainiert und hat gelernt, diese Features zu identifizieren. Das Modell wurde auf die gesamten Bilddaten angewendet. Zum Schluss wurden Feature-Layer für Gebäude und Straßen abgeleitet. Sie werden die resultierenden Ausgaben untersuchen.
- Deaktivieren Sie im Bereich Inhalt die Layer Expanded_Training_Areas und Buildings_and_Roads_Examples.
- Aktivieren Sie den Layer Buildings_and_Roads_Raster_Full_Extent.
Das Ausgabe-Raster identifiziert die zu Gebäuden (hellorange) und Straßen (marineblau) gehörenden Flächen.
- Vergrößern und schwenken Sie die Karte, um den Raster-Layer zu beobachten.
Die Vielfalt der identifizierten Gebäude und Straßen ist beeindruckend. Das Modell könnte auf eine größere Bilddatenausdehnung angewendet werden, die eine ganze Stadt oder Region abdeckt.
Als Nächstes sehen Sie sich die zwei abgeleiteten Feature-Layer an:
- Einen Polygon-Layer für Gebäude, der mit dem zuvor verwendeten Werkzeug Nachbearbeitung von Gebäuden aus Raster-Ausgabe abgeleitet wurde.
- Einen Polylinien-Layer für Straßen, der mit dem Werkzeug Nachbearbeitung von Straßen aus Raster-Ausgabe abgeleitet wurde, das auch in der Toolbox Post Deep Learning Workflows enthalten ist.
- Deaktivieren Sie im Bereich Inhalt den Layer Building_and_Roads_Raster_Full_Extent. Aktivieren Sie Buildings_Full_Extent und Roads_Full_Extent.
- Vergrößern und schwenken Sie die Karte, um die Gebäude- und Straßen-Feature-Layer zu untersuchen.
Eine derart detaillierte Karte könnte von der lokalen gemeinnützigen Organisation genutzt werden, um bessere Angebote für die Gemeinde bereitzustellen.
- Drücken Sie Strg+S, um das Projekt zu speichern.
Diesen Workflow auf Ihre eigenen Bilddaten anwenden – optional
Um diesen Workflow auf Ihre eigenen Bilddaten anzuwenden, beachten Sie folgende Tipps:
- Speicherort für Ihre Bilddaten: In diesem Lernprogramm haben Sie einen Bild-Layer verwendet, der in Site Scan for ArcGIS aus unbearbeiteten Drohnenbildern mit hoher Auflösung generiert und in ArcGIS Online direkt aus Site Scan gespeichert wurde. Wenn Sie mit Ihren eigenen Daten arbeiten, können Sie diese ebenfalls auf ArcGIS Online hosten. Weitere Informationen finden Sie auf der Dokumentationsseite Veröffentlichen gehosteter Bilddaten-Layer. Eine weitere Möglichkeit ist die Verwendung von auf Ihrem lokalen Computer gespeicherten Bilddaten.
- Verwendung konsistenter Bilddaten während des gesamten Workflows: Bei Nutzung des SAMLoRA-Modells sollten Sie sicherstellen, dass Sie ähnliche Bilddaten verwenden, um das Modell zu trainieren und anzuwenden. Insbesondere sollten die Spektralbänder (z. B. rote, grüne und blaue Bänder), die Pixeltiefe (z. B. 8 Bit) und die Zellengröße identisch sein.
- Suche nach Eigenschaften von Bilddaten: Wenn Sie nicht sicher sind, welche Eigenschaften Ihre Bilddaten haben, klicken Sie im Bereich Inhalt mit der rechten Mausdaten auf den Bilddaten-Layer, und wählen Sie Eigenschaften aus. Klicken Sie im Bereich Eigenschaften auf den Bereich Quelle. Unter Raster-Informationen finden Sie die Werte für Anzahl der Bänder, Zellengröße X, Zellengröße Y und Pixeltiefe.
- Anpassung der Eingabe-Bilddaten: Sollten Sie die Bilddaten anpassen müssen, um sie als Eingabe für ein bereits trainiertes SAMLoRA-Modell zu verwenden (z. B. durch Auswahl einer Teilmenge von Bändern oder Änderung der Pixeltiefe), finden Sie Schritt-für-Schritt-Anleitungen im Abschnitt Relevante Bilddaten-Bänder auswählen im Lernprogramm Ein Deep-Learning-Modell mit Transfer Learning verbessern. In dem Lernprogramm Bilddaten erkunden – Räumliche Auflösung erfahren Sie zudem, wie Sie die Zellengröße der Bilddaten per Resampling ändern.
- Erstellung eines Polygon-Layers mit Trainingsbeispielen: Gehen Sie gemäß den Schritt-für-Schritt-Anleitungen im Abschnitt Trainingsgebiete für das Transfer Learning erstellen des Lernprogramms Deep-Learning-Modelle mit Transfer Learning verbessern vor.
- Verwendung einer Attributdomäne: Im Polygon-Layer mit Trainingsbeispielen ist der Wert Building im Attribut Class eigentlich eine Beschriftung für den zugrunde liegenden numerischen Wert 1. Dies ist zwar kein wesentlicher Bestandteil dieses Workflows, trotzdem sollten Sie beachten, dass dies mit einer Attributdomäne implementiert wird. Im Lernprogramm Subtypes und Domänen auf Wanderwege in Wien anwenden erfahren Sie mehr über dieses Verfahren. Alternativ könnten Sie numerische Werte für Ihre Klassen verwenden. Die Ausgabe wird auch numerisch sein. Die extrahierten Features werden mit 1 bezeichnet statt mit Building.
- Erstellung eines Trainingsgebiets-Layers: Sie können das Geoverarbeitungswerkzeug Feature-Class erstellen verwenden. Klicken Sie dann auf dem Menüband auf der Registerkarte Bearbeiten auf das Werkzeug Erstellen, um ein oder mehrere Rechteck-Polygone zu verfolgen, die die Bereiche umreißen, in denen Sie Trainingsbeispiele erstellen möchten.
- Auswahl der Zellengröße: Wie im Abschnitt Weitere Informationen zu Bildschnipseln für das Training und Zellengröße erläutert, sollten Sie daran denken, mit der Zellengröße zu experimentieren, um Kacheln zu erzeugen, die für die zu extrahierenden Features optimiert sind.
- Experimentieren mit geringer Ausdehnung: Beim Experimentieren können Sie die Verarbeitung auf eine geringe Ausdehnung beschränken, um schneller Ergebnisse zu erzielen. Klicken Sie auf der Registerkarte Umgebungen unter Verarbeitungsausdehnung auf die Schaltfläche Ausdehnung darstellen, und zeichnen Sie ein kleines Polygon auf der Karte. Alternativ können Sie die Karte vergrößern und auf die Schaltfläche Aktuelle Anzeigeausdehnung klicken.
In diesem Lernprogramm haben Sie mit der SAMLoRA-Methode informelle Siedlungen in Bilddaten identifiziert. Sie haben Trainingsdaten generiert und sie zum Trainieren des grundlegenden Modells verwendet. Mit dem trainierten Modell haben Sie informelle Siedlungen in den Bilddaten klassifiziert und dann Gebäude-Footprint-Polygone abgeleitet und bereinigt. Zum Schluss haben Sie die erweiterten Ergebnisse ausgewertet.
Weitere vergleichbare Lernprogramme finden Sie in der Reihe Deep Learning in ArcGIS testen.
Weitere Lernprogramme finden Sie in der Lernprogrammgalerie.
