Trainingsbilder aufnehmen
Intelligente Attribute von Survey123 können ein Bildklassifizierungsmodells verwenden, um Werte basierend auf den vom Modell in einem Bild erkannten Objekten zu extrahieren.
Zum Erstellen eines Modells zur Bildklassifizierung benötigen Sie eine große Sammlung von Bildern zum Identifizieren der einzelnen Feature-Classes, die von Ihrem Modell erkannt werden müssen. Dabei werden zwei Feature-Classes identifiziert: Stoppschilder und Geschwindigkeitsbegrenzungsschilder.
Bei Verkehrsschildern sollten Sie für jede Feature-Class etwa 500 Bilder haben. Es können mehrere Fotos vom selben Schild (mit unterschiedlicher Beleuchtung, unterschiedlichem Winkel oder unterschiedlicher Entfernung aufgenommen) vorhanden sein. Das Modell wird durch Fotos mit unterschiedlicher Beleuchtung, unterschiedlichem Winkel und unterschiedlicher Entfernung vom Objekt immer besser, und Genauigkeit sowie Zuverlässigkeit und Akzeptanz der Vorhersage nehmen zu.
Hinweis:
Zum Erstellen von Modellen, die zu höchster Genauigkeit und Zuverlässigkeit führen, sind mehrere Durchläufe, Tests und Experimente erforderlich. In diesem Lernprogramm werden ein Workflow und eine Umgebung für die Schritte beschrieben, die zum Erstellen von Modellen für die Bildklassifizierung im Außendienst erforderlich sind. Für die Erstellung eines Modells, das für die Verwendung in einer Produktionsumgebung geeignet ist, können viele weitere Durchläufe und Testbilder erforderlich sein.
Erstellen und Veröffentlichen eines Survey
Zunächst erstellen Sie mithilfe von Survey123 Connect einen Survey, mit dem ein Bild und der Schildertyp erfasst und jedem Datensatz eine eindeutige ID zugewiesen wird.
- Laden Sie die Datei SignImageCollection .xlsx herunter.
- Starten Sie ArcGIS Survey123 Connect.
Hinweis:
Falls Sie ArcGIS Survey123 Connect noch nicht haben, können Sie die App aus dem Microsoft Store oder von der Survey123-Produktseite herunterladen. Führen Sie das Installationsprogramm aus, und befolgen Sie die vorgegebenen Schritte, um das Programm zu installieren.
- Klicken Sie im Menüband auf die Menüschaltfläche und dann auf Anmelden.
- Melden Sie sich mit Ihren ArcGIS-Anmeldeinformationen an.
Wenn Sie über kein Organisationskonto verfügen, informieren Sie sich über die Optionen für den Zugriff auf die Software.
- Ziehen Sie die heruntergeladene .xlsx-Datei in die Galerie mit Surveys in Survey123 Connect.
- Wenn der Import abgeschlossen ist, klicken Sie auf OK.
- Lesen Sie die Survey-Fragen durch.
Die Frage zum Sign Image enthält eine Kamera-Schaltfläche, über die Benutzer mit ihrem mobilen Gerät ein Bild anhängen können. Sie verwenden diesen Survey, um Bilder zum Trainieren eines Modells zu sammeln.
- Klicken Sie auf Freigeben.
- Klicken Sie im Fenster SignImageCollection veröffentlichen auf Survey veröffentlichen.
Der Survey wird in Ihrer ArcGIS-Organisation zusammen mit allen relevanten Feature-Services und Formularelementen veröffentlicht.
- Wenn die Veröffentlichung abgeschlossen ist, klicken Sie auf OK.
- Klicken Sie im Seitenbereich auf die Schaltfläche Weitere Aktionen. Klicken Sie auf Auf Survey123-Website verwalten.
Daraufhin wird der veröffentlichte Survey in einem Browser-Fenster auf der Seite Übersicht der Survey123-Website angezeigt. Damit andere Benutzer diesen Survey verwenden können, geben Sie ihn für Ihre Organisation frei.
- Klicken Sie auf dem Menüband auf Zusammenarbeit.
- Wählen Sie auf der Registerkarte Survey freigeben unter Wer kann Daten an diesen Survey senden die Option Mitglieder der eigenen Organisation aus, und klicken Sie auf Speichern.
Das Fenster Survey freigeben wird angezeigt.
- Klicken Sie im Fenster Survey freigeben auf Speichern.
Nun haben Sie einen Survey erstellt, mit dem Sie Bilder zum Trainieren eines Bildklassifizierungsmodells erfassen können.
Sie können den Survey für Ihre Kollegen freigeben und mit der Erfassung von Verkehrsschildern beginnen. Nehmen Sie dabei auch Fotos bei unterschiedlichen Lichtverhältnissen sowie aus unterschiedlichen Winkeln und Entfernungen auf. Je größer die Vielfalt und je mehr Beispiele, desto besser können mit dem resultierenden Modell Beobachtungen vorhergesagt werden. Nehmen Sie etwa 500 Bilder für jede Bildkategorie auf, die Sie klassifizieren möchten.
- Schließen Sie Survey123 Connect.
Den Survey verwenden
Nachdem der Survey veröffentlicht wurde, können Sie ihn auf ihr Mobilgerät herunterladen und verwenden.
Wenn Sie in Ihrer Umgebung keine Verkehrsschilder fotografieren können, können Sie eine für dieses Lernprogramm erstellte Beispiel-Geodatabase mit Fotos verwenden. Überspringen Sie in dem Fall diese Schritte, und gehen Sie zum nächsten Abschnitt über.
- Öffnen Sie hierzu die mobile Survey123-App auf Ihrem Mobilgerät.
Hinweis:
Wenn Sie die mobile Survey123-App nicht haben, wechseln Sie zu Google Play, zum App Store, zum Microsoft Store oder zur Survey123-Produktseite. Wenn Sie die App von der Produktseite unter Mobile ArcGIS Survey123-App herunterladen, klicken Sie auf den Download-Link für das Betriebssystem Ihres Computers bzw. Geräts. Führen Sie das heruntergeladene Installationsprogramm aus, und befolgen Sie die Anweisungen zum Installieren der mobilen App.
- Tippen Sie auf Mit ArcGIS Online anmelden. Melden Sie sich bei Ihrem ArcGIS-Organisationskonto an.
Hinweis:
Wenn Sie ArcGIS Enterprise verwenden, tippen Sie auf ArcGIS-Verbindungen verwalten, und melden Sie sich bei Ihrer ArcGIS Enterprise-Umgebung an.
Die App wird mit der Seite Mein Survey123 geöffnet. Um Datensätze für den Survey zu erfassen, müssen Sie ihn herunterladen.
- Tippen Sie auf Surveys herunterladen.
Hinweis:
Wenn Sie bereits Surveys auf Ihr Gerät heruntergeladen haben, tippen Sie zum Herunterladen eines neuen Survey auf die Schaltfläche Menü, und wählen Sie Surveys herunterladen aus.
Auf der Seite Surveys herunterladen werden alle Surveys angezeigt, die für Ihre Organisation freigegeben sind.
- Geben Sie in der Suchleiste die Zeichenfolge SignImageCollection ein. Suchen Sie in den Suchergebnissen nach dem Survey SignImageCollection, und tippen Sie auf Herunterladen.
Der Survey wird auf Ihr Gerät heruntergeladen.
- Tippen Sie nach dem Herunterladen des Survey auf den Zurück-Pfeil, um zur Survey-Galerie zurückzukehren.
Der Survey SignImageCollection wird nun in der Survey-Galerie angezeigt.
- Tippen Sie auf den Survey SignImageCollection. Tippen Sie auf der Seite mit dem Survey-Inhalt auf Erfassen.
- Tippen Sie unter der Frage Sign Image auf die Kamera-Schaltfläche.
Hinweis:
Über die Kamera-Schaltfläche können Sie Fotos aus einer Datei hinzufügen oder mit der Gerätekamera fotografieren. Wenn Sie den Survey nicht im realen Umfeld testen können, dann können Sie diese Sammlung aus Beispielbildern verwenden. Öffnen Sie die Fotos auf Ihrem Computer, und verwenden Sie Ihr Gerät, um Fotos der Bilder auf dem Computerbildschirm aufzunehmen.
- Nehmen Sie ein Foto eines Stoppschildes oder Geschwindigkeitsbegrenzungsschildes auf.
- Je nachdem, welches Schild Sie fotografiert haben, wählen Sie unter der Frage Sign type entweder Stoppschild oder Speed sign aus.
- Tippen Sie auf die Schaltfläche Senden.
Ist das Gerät online, werden Sie dazu aufgefordert, eine der folgenden Optionen auszuwählen: Jetzt senden, Diesen Survey fortsetzen oder In "Ausgang" speichern.
- Wählen Sie Jetzt senden.
Fahren Sie mit dem Erfassen der Fotos von Stoppschildern und Geschwindigkeitsbegrenzungsschildern fort, bis Sie jeweils mindestens 500 Fotos übermittelt haben. Fügen Sie Fotos hinzu, die aus verschiedenen Richtungen und Blickwinkeln und unter verschiedenen Lichtverhältnissen aufgenommen wurden.
Je mehr Fotos vorhanden sind, desto besser wird das Modell trainiert und desto höher ist die Erfolgsrate für die korrekte Identifizierung von Schildern.
Hinweis:
Wenn Sie in Ihrer Umgebung keine Verkehrsschilder fotografieren können, können Sie eine für dieses Lernprogramm erstellte Beispiel-Geodatabase verwenden. Anhand der folgenden Schritte wird beschrieben, wie Sie mit eigenen Daten oder der Beispiel-Geodatabase ein Modell trainieren können.
Sie verfügen nun über die Eingabedaten, die zum Erstellen eines Bildklassifizierungsmodells erforderlich sind.
Ein Modell trainieren
Als Nächstes verwenden Sie ArcGIS Notebooks, um ein Bildklassifizierungsmodell zu erstellen. Sie müssen ein Notebook mit Advanced-Runtime mit GPU-Unterstützung erstellen. Für diese Funktion werden 30 Credits pro Stunde verbraucht.
Sie können aber auch das referenzierte Notebook herunterladen und lokal verwenden, müssen dabei aber sicherstellen, dass Sie geeignete Hardware verwenden.
Hinweis:
Wenn Sie erfahren möchten, wie Sie ArcGIS Notebooks zum Schreiben von Python-Code für ArcGIS verwenden, absolvieren Sie zunächst das Lernprogramm Hallo Notebook!. Wenn Sie die Schaltfläche Herunterladen sehen, aber die Schaltfläche Notebook öffnen nicht angezeigt wird, sind Sie möglicherweise nicht angemeldet. Wenn Sie nach dem Anmelden keinen Zugriff auf die Schaltfläche Notebook öffnen erhalten, ist Ihr Konto nicht für die Verwendung von Notebooks aktiviert. Wenden Sie sich an den ArcGIS-Administrator Ihrer Organisation, um Zugriff auf Notebooks zu erhalten.
In der Lernprogrammreihe Grundlagen von Python in ArcGIS Notebooks finden Sie noch mehr Notebook-Lernprogramme.
Die Anleitung ArcGIS Notebooks in Ihrer Organisation in ArcGIS Online bereitstellen kann für Administratoren, die ArcGIS Notebooks zuvor nicht aktiviert haben, sehr hilfreich sein.
ArcGIS Notebooks einrichten
Zunächst erstellen Sie ein Notebook in ArcGIS Notebooks. Wenn Sie nicht auf ArcGIS Notebooks zugreifen können, können Sie ein trainiertes Modell herunterladen und es im nächsten Abschnitt dieses Lernprogramms verwenden.
- Laden Sie das Notebook SignImageClassificationModel herunter.
- Benennen Sie die heruntergeladene Datei um, indem Sie Ihre Initialen an die .ipynb-Datei anhängen.
Die Elementnamen in einer ArcGIS-Organisation müssen eindeutig sein. Wenn bereits ein anderer Benutzer in Ihrer Organisation dieses Lernprogramm absolviert hat, wurde möglicherweise bereits eine Notebook-Datei mit dem Standardnamen hochgeladen.
- Melden Sie sich ggf. bei Ihrer ArcGIS-Organisation an.
- Klicken Sie auf dem Menüband auf die Registerkarte Inhalt.
- Klicken Sie auf Neues Element.
- Navigieren Sie zur .ipynb-Datei, und fügen Sie sie dem Fenster Neues Element hinzu.
- Legen Sie im Fenster Neues Element die folgenden Parameter fest:
- Geben Sie als Titel den Text Sign Image Collection Model_(IhrName) ein.
- Wählen Sie als Ordner einen Ordner aus, oder erstellen Sie einen geeigneten Projektordner.
- Geben Sie als Tags den Text SignImageCollectionModel ein.
- Geben Sie als Zusammenfassung den Text Sign Image Collection Model ein.
- Klicken Sie auf Speichern.
Das Element wird erstellt, und die zugehörige Detailseite wird angezeigt.
- Klicken Sie auf der Detailseite auf die Registerkarte Einstellungen.
- Wählen Sie für Notebook-Runtime den Eintrag ArcGIS Notebook Python 3 Advanced with GPU support – 9.0 aus.
- Klicken Sie auf Speichern.
- Klicken Sie auf die Registerkarte Übersicht.
- Klicken Sie auf Notebook öffnen.
Die Anweisungen zum Ausführen des Notebooks und Erstellen der Modelldateien sind im Notebook-Text enthalten.
- Führen Sie die Schritte im Notebook aus, und kehren Sie zu diesem Lernprogramm zurück.
Hierzu gehören folgende Schritte:
- Einrichten der Umgebung
- Herunterladen der Trainingsbilder aus dem Feature-Layer
- Trainieren des Modells
- Testen des Modells (optional)
Hinweis:
Das Notebook wurde so entworfen, dass es mit den bereitgestellten Daten ausgeführt werden kann. Es ist wichtig, dass die beschriebenen Schritte im Notebook befolgt werden, insbesondere das Starten des Kernels bei entsprechender Anweisung.
Wenn Sie eigene Bilder gesammelt haben, dann können Sie die im Notebook referenzierten Element-IDs ändern, um aus Ihren Bildern ein Modell zu erstellen.
Modellergebnisse herunterladen
Wenn das Notebook erfolgreich abgeschlossen wurde, wurde ein Paket aus mehreren Dateien generiert. Diese Dateien müssen Sie herunterladen, um sie in Ihrem Test-Survey zu verwenden.
- Wählen Sie in ArcGIS Notebooks die Option Dateien aus.
- Navigieren Sie zu /arcgis/home/tmp/fa40cf680eb4436daf4109b887b52b30/models/
Hinweis:
Die Standardnamen basieren auf dem Datum der Ausführung des Notebooks. Ihre Dateinamen werden von der obigen Abbildung abweichen.
- Laden Sie die .zip-Datei herunter.
Hinweis:
Wenn Sie kein Modell trainiert haben, können Sie ein Modell herunterladen und es im nächsten Abschnitt dieses Lernprogramms verwenden.
- Extrahieren Sie den Inhalt der .zip-Datei an einen geeigneten Speicherort auf Ihrem Computer.
Sie haben die Ausgabedateien für das Bildklassifizierungsmodell, das Sie in der mobilen Survey123-App zum automatischen Identifizieren von Geschwindigkeitsbegrenzungsschildern und Stoppschildern verwenden werden, heruntergeladen.
Das Modell testen
Als Nächstes fügen Sie die Dateien des Bildklassifizierungsmodells einem Survey hinzu, um Geschwindigkeitsbegrenzungsschilder und Stoppschilder zu identifizieren.
Idealerweise würden Sie diesen Survey im realen Umfeld testen. Wenn Sie dies aber nicht können oder keine Geschwindigkeitsbegrenzungsschilder und Stoppschilder in der Nähe vorhanden sind, dann können Sie diese Tests auch mit Fotos auf Ihrem Computer simulieren.
Erstellen und Veröffentlichen eines Survey
Erstellen Sie zuerst mit Survey123 Connect einen Survey, der die von Ihnen erstellten Modelldateien zum Klassifizieren von Bildern als Stoppschild oder als Geschwindigkeitsbegrenzungsschild verwendet.
- Laden Sie die Datei SignImageClassificationModelTesting.xlsx herunter.
- Starten Sie Survey123 Connect. Melden Sie sich ggf. mit Ihrem ArcGIS-Organisationskonto an.
- Ziehen Sie die heruntergeladene .xlsx-Datei in die Galerie der Surveys.
Ein neuer Survey mit dem Namen SignImageClassificationModelTesting wird erstellt.
- Wenn der Import abgeschlossen ist, klicken Sie auf OK.
- Klicken Sie im Seitenbereich auf Dateien.
Alle Dateien, die sich auf den Survey SignImageClassificationModelTesting beziehen, sind sichtbar. Der Survey enthält einen Ordner namens media. Sie kopieren zwei Modelldateien aus dem heruntergeladenen Ordner und fügen sie in den Ordner media ein.
- Öffnen Sie den Order, der die Modellausgaben enthält. Suchen und kopieren Sie die Modelldateien mit den Dateierweiterungen .emd und .tflite.
Hinweis:
Die Namen dieser Dateien basieren auf dem Datum der Ausführung des Notebooks. Ihre Dateinamen werden von der obigen Abbildung abweichen.
Durch die .emd- und .tflite-Dateien können mit dem Survey Geschwindigkeitsbegrenzungsschilder und Stoppschilder mithilfe der Kamera Ihres mobilen Geräts erkannt werden.
- Kehren Sie zum Ordner SignImageClassificationModelTesting des Survey zurück. Öffnen Sie den Ordner media, und fügen Sie die .emd- und .tflite-Dateien im Ordner media ein.
- Schließen Sie die Dateibrowserfenster, und kehren Sie zu Survey123 Connect zurück.
Der neue Survey enthält die folgenden Objekte:
- Die Frage Sign Image sieht wie die normale Kamera-Schaltfläche in Survey123 aus. Sie verwendet jedoch das Modell, das Sie im Survey verwenden, um den Inhalt des aufgenommenen Fotos zu interpretieren.
- Die Frage Sign Type überprüft automatisch den Typ des im Foto erkannten Schildes.
- Mit der Frage Is this correct können Benutzer den Erfolg der Kamera bestätigen.
Jetzt können Sie den Survey veröffentlichen.
- Klicken Sie im Seitenbereich auf Veröffentlichen.
- Klicken Sie im Fenster SignImageClassificationModelTesting veröffentlichen auf Survey veröffentlichen.
Survey123 Connect veröffentlicht den Inhalt in Ihrer ArcGIS-Organisation. Wegen der Bildklassifizierungsdateien im Survey kann das Veröffentlichen etwas länger als normalerweise dauern.
- Wenn die Veröffentlichung abgeschlossen ist, klicken Sie auf OK.
- Klicken Sie im Seitenbereich auf die Schaltfläche Weitere Aktionen, und wählen Sie Auf Survey123-Website verwalten aus.
Der veröffentlichte Survey wird auf der Seite Übersicht auf der Survey123-Website geöffnet. Damit andere Benutzer diesen Survey verwenden können, geben Sie ihn für Ihre Organisation frei.
- Klicken Sie auf dem Menüband auf Zusammenarbeit.
- Wählen Sie auf der Registerkarte Survey freigeben unter Wer kann Daten an diesen Survey senden die Option Mitglieder der eigenen Organisation aus. Klicken Sie auf Speichern.
- Klicken Sie im Fenster Survey freigeben auf Speichern.
Nun haben Sie einen Survey zum Testen eines Bildklassifizierungsmodells erstellt.
Der nächste Schritt besteht darin, diesen Survey zum Testen des Modells zu verwenden. Sie sollten die Genauigkeit des Modells testen, indem Sie Fotos bei unterschiedlichen Lichtverhältnissen sowie aus unterschiedlichen Winkeln und Entfernungen aufnehmen. Je größer die Vielfalt ist, mit der Sie getestet haben, desto größer ist auch die Gewissheit, die Sie haben können, wenn Sie diese Modelle freigeben.
Den Survey verwenden
Jetzt, da der Survey veröffentlicht wurde, laden Sie ihn auf ihr Mobilgerät herunter. Jetzt können Sie auf die Straße gehen und Fotos von Stoppschildern und Geschwindigkeitsbegrenzungsschildern aufnehmen.
Hinweis:
Wenn Sie den Survey nicht im realen Umfeld testen können, dann können Sie diese Sammlung aus Beispielbildern verwenden. Öffnen Sie die Fotos auf Ihrem Computer, und verwenden Sie Ihr Gerät, um Fotos der Bilder auf dem Computerbildschirm aufzunehmen.
- Öffnen Sie die mobile Survey123-App auf Ihrem Mobilgerät.
- Melden Sie sich ggf. bei Ihrer ArcGIS-Organisation an.
Die App wird mit der Seite Mein Survey123 geöffnet. Um Datensätze für den Survey zu erfassen, müssen Sie ihn herunterladen.
- Tippen Sie auf die Schaltfläche Menü, und wählen Sie Surveys herunterladen aus.
Auf der Seite Surveys herunterladen werden alle Surveys angezeigt, die für Ihre Organisation freigegeben sind.
- Geben Sie auf der Suchleiste die Zeichenfolge SignImageClassificationModelTesting ein. Suchen Sie in den Suchergebnissen nach dem Survey SignImageClassificationModelTesting, und tippen Sie auf Herunterladen.
Der Survey wird auf Ihr Gerät heruntergeladen.
- Tippen Sie nach dem Herunterladen des Survey auf den Zurück-Pfeil, um zur Survey-Galerie zurückzukehren.
- Tippen Sie auf den Survey SignImageClassificationModelTesting. Tippen Sie auf der Seite mit dem Survey-Inhalt auf Erfassen.
- Tippen Sie unter der Frage Sign Image auf die Kamera-Schaltfläche.
- Nehmen Sie ein Foto eines Stoppschildes oder Geschwindigkeitsbegrenzungsschildes auf.
Die Kameravorschau zeigt unten auf dem Bildschirm eine Klassifizierung (als Stoppschild oder Geschwindigkeitsbegrenzungsschild) und einen Konfidenzwert an.
Nach der Erfassung des Bildes wird wieder die Survey-Seite angezeigt. Die Frage Sign Type wird automatisch mit dem Wert, der in der Kameravorschau angezeigt wurde, aktualisiert. Diese Bildklassifizierung wurde durch die Modelldateien, die im Survey verwendet werden, durchgeführt.
Als Nächstes müssen Sie das Ergebnis der intelligenten Attribute validieren.
- Wenn das Modell den Typ des Schildes korrekt vorhergesagt hat, dann tippen Sie bei der Frage Is this correct? auf Yes. Andernfalls tippen Sie auf No.
- Tippen Sie auf die Schaltfläche Senden.
Ist das Gerät online, werden Sie dazu aufgefordert, eine der folgenden Optionen auszuwählen: Jetzt senden, Diesen Survey fortsetzen oder In "Ausgang" speichern.
- Tippen Sie auf Jetzt senden.
- Fahren Sie mit dem Erfassen der Fotos von Stoppschildern und Geschwindigkeitsbegrenzungsschildern fort, bis Sie jeweils mindestens 10 Fotos übermittelt haben.
Sie haben die Kamera verwendet, um Fotos mit Stoppschildern oder Geschwindigkeitsbegrenzungsschildern zu klassifizieren. Wenn Sie mit den Ergebnissen zufrieden sind, können Sie diese Modelldateien in jedem Survey zum Identifizieren von Stoppschildern oder Geschwindigkeitsbegrenzungsschildern verwenden. Wenn Sie mit den Ergebnissen nicht zufrieden sind, dann müssen Sie möglicherweise das Modell erneut trainieren.
Zum Verbessern der Qualität des Modells gibt es die folgenden Möglichkeiten:
- Überprüfen Sie die Bilder, die zum Trainieren des Modells verwendet wurden.
- Stellen Sie sicher, dass sich das Schild in der Mitte des Bildes befindet, indem Sie es zum Beispiel entsprechend zuschneiden.
- Stellen Sie sicher, dass hinsichtlich Beleuchtung, Winkel und Entfernung zum Objekt eine ausreichende Vielfalt an Fotos vorhanden ist.
- Fahren Sie mit dem Trainieren der Daten fort, indem Sie die Anzahl der Epochen (Iterationen) solange erhöhen, bis der Validierungsverlust (valid_loss) und der Trainingsverlust (train_loss) unter 1 liegen. Es wird empfohlen, bei jedem Training die Anzahl der Epochen um 5 zu erhöhen.
Weitere Lernprogramme finden Sie in der Lernprogrammgalerie.
