Capturer des images d’entraînement
Les attributs intelligents de Survey123 peuvent utiliser un modèle de classification d’images pour extraire des valeurs en fonction des objets détectés par le modèle sur une image.
Pour créer un modèle de classification d’images, vous avez besoin d’une grande collection d’images qui identifient chacune des classes d’entités que votre modèle doit reconnaître. Vous identifierez deux classes : les panneaux de stop et les panneaux de limitation de vitesse.
Pour les panneaux routiers, il vous faut environ 500 images par classe. Des photos multiples du même panneau, mais avec un éclairage, un angle et une distance à l’objet différents, sont acceptables. Les variations d’éclairage, d’angle et de distance à l’objet fournissent des photos qui améliorent le modèle, ce qui se traduit par une meilleure précision et une confiance et acceptation de la prédiction accrues.
Remarque :
La création de modèles offrant une précision et un niveau de confiance accrus nécessite de nombreuses itérations, ainsi que des tests et des expérimentations. Ce didacticiel fournit un processus et une structure pour illustrer les étapes nécessaires à la création de modèles pour la classification d’images sur le terrain. De nombreuses autres itérations et images de test seront peut-être requises pour générer un modèle utilisable dans un environnement de production.
Créer et publier une enquête
Tout d’abord, à l’aide de Survey123 Connect, vous allez créer une enquête qui capture une image, le type de panneau, et attribue à chaque enregistrement un ID unique.
- Téléchargez le fichier SignImageCollection .xlsx.
- Démarrez ArcGIS Survey123 Connect.
Remarque :
Si vous ne possédez pas ArcGIS Survey123 Connect, vous pouvez le télécharger à partir de Microsoft Store ou de la page produit Survey123. Exécutez le programme d’installation et suivez-en les étapes pour installer le programme.
- Sur le ruban, cliquez sur le bouton du menu, puis sur Sign in (Se connecter).
- Connectez-vous à l’aide de vos identifiants ArcGIS.
Si vous ne disposez pas d’un compte d’organisation, consultez les options disponibles pour accéder aux logiciels.
- Faites glisser le fichier .xlsx que vous avez téléchargé sur la bibliothèque d’enquêtes dans Survey123 Connect.
- Une fois l’importation effectuée, cliquez sur OK.
- Examinez les questions de l’enquête.
La question Sign image (Image du panneau) comprend un bouton d’appareil photo qui permet aux utilisateurs de joindre une image à l’aide de leur appareil mobile. Utilisez cette enquête afin de collecter des images pour entraîner un modèle.
- Cliquez sur Publish (Publier).
- Dans la fenêtre Publish SignImageCollection (Publier SignImageCollection), cliquez sur Publish Survey (Publier l’enquête).
L’enquête est publiée dans votre organisation ArcGIS, avec tous les services d’entités et les éléments de formulaire adéquats.
- Lorsque la publication est terminée, cliquez sur OK.
- Dans le menu latéral, cliquez sur le bouton More actions (Autres actions). Cliquez sur Manage in Survey123 website (Gérer sur le site Web de Survey123).
Dans une nouvelle fenêtre de navigateur, les détails de l’enquête publiée s’ouvrent à la page Overview (Aperçu) sur le site Web Survey123. Pour permettre à d’autres personnes d’utiliser l’enquête, vous allez la partager avec votre organisation.
- Sur le ruban, cliquez sur Collaborate (Collaborer).
- Sous l’onglet Share survey (Partager l’enquête), pour Who can submit to this survey (Qui peut envoyer des données à cette enquête), sélectionnez Members of my organization (Membres de mon organisation) et cliquez sur Save (Enregistrer).
La fenêtre Share survey (Partager une enquête) apparaît.
- Dans la fenêtre Share survey (Partager une enquête), cliquez sur Save (Enregistrer).
Vous avez donc créé une enquête pour collecter des images que vous pouvez utiliser pour l’apprentissage d’un modèle de classification d’images.
Vous êtes libre de partager l’enquête avec vos collègues et de commencer à collecter divers panneaux routiers, y compris des photos prises dans différentes conditions d’éclairage, sous différents angles et à différentes distances. Plus vous fournissez des images variées et nombreuses, plus vous améliorez la capacité du modèle résultant à prédire ce qu’il observe. Incluez environ 200 images par catégorie d’images à classer.
- Fermez Survey123 Connect.
Utiliser l’enquête
Dès lors que l’enquête est publiée, vous pouvez la télécharger sur votre appareil mobile et l’utiliser.
Si vous ne pouvez pas capturer des photos de panneaux de rue de votre localité, vous pouvez utiliser un exemple de géodatabase créé pour ce didacticiel pour passer à la section suivante en ignorant ces étapes.
- Sur votre appareil mobile, ouvrez l’application de terrain Survey123.
Remarque :
Si vous ne possédez pas l’application de terrain Survey123, accédez au magasin Google Play, App Store ou Microsoft Store ou à la page produit Survey123. Si vous téléchargez le produit à partir de la page produit, sous ArcGIS Survey123 field app (application de terrain ArcGIS Survey123), cliquez sur le lien de téléchargement du système d’exploitation de votre ordinateur ou appareil mobile. Exécutez le programme d’installation téléchargé et suivez ses instructions pour installer l’application de terrain.
- Touchez Sign in with ArcGIS Online (Se connecter avec ArcGIS Online). Connectez-vous à votre compte d’organisation ArcGIS.
Remarque :
Si vous utilisez ArcGIS Enterprise, touchez Manage ArcGIS connections (Gérer les connexions ArcGIS) et connectez-vous à votre environnement ArcGIS Enterprise.
L’application s’ouvre à la page My Survey123 (Mon Survey123). Afin de collecter des enregistrements pour l’enquête, vous allez devoir la télécharger.
- Touchez Download surveys (Télécharger des enquêtes).
Remarque :
Si des enquêtes ont déjà été téléchargées sur votre appareil, touchez le bouton Menu (Menu) et sélectionnez Download Surveys (Télécharger les enquêtes).
La page Download Surveys (Télécharger les enquêtes) dresse la liste de toutes les enquêtes partagées dans votre organisation.
- Dans la barre de recherche, saisissez SignImageCollection. Dans les résultats de la recherche, recherchez votre enquête SignImageCollection et touchez Download (Télécharger).
L’enquête est téléchargée sur votre appareil.
- Une fois que l’enquête a été téléchargée, touchez la flèche Retour pour retourner à la bibliothèque d’enquêtes.
L’enquête SignImageCollection apparaît dans la bibliothèque d’enquêtes.
- Touchez l’enquête SignImageCollection. Dans la page de contenu de l’enquête, touchez Collect (Collecter).
- Pour la question Sign image (Image du panneau), touchez le bouton d’appareil photo.
Remarque :
Ce bouton offre la possibilité d’ajouter des photos à partir d’un fichier ou d’utiliser l’appareil photo pour collecter des photos. Si vous ne pouvez pas tester l’enquête sur le terrain, vous pouvez utiliser cette collection d’images d’exemple. Ouvrez les photos sur votre ordinateur et utilisez votre appareil pour photographier les images affichées sur l’écran de l’ordinateur.
- Photographiez un panneau de stop ou de limitation de vitesse.
- À la question Sign type (Type de panneau), sélectionnez Stop sign (Panneau de stop) ou Speed sign (Panneau de limitation de vitesse), selon le panneau que vous avez photographié.
- Touchez le bouton Submit (Envoyer).
Si votre appareil est en ligne, vous êtes invité à sélectionner Send now (Envoyer maintenant), Continue this survey (Continuer cette enquête) ou Save in Outbox (Enregistrer dans la boîte d’envoi).
- Sélectionnez Send now (Envoyer maintenant).
Continuez de photographier les panneaux de stop ou de limitation de vitesse jusqu’à ce que vous en ayez envoyé au moins 500 de chaque. Essayez d’ajouter des photos prises dans différentes directions, selon différents angles et sous différentes conditions d’éclairage.
Un grand nombre de photos équivaut à un meilleur apprentissage du modèle, d’où un taux de réussite plus élevé en matière d’identification des panneaux.
Remarque :
Si vous ne pouvez pas capturer des photos de panneaux de rue dans votre localité, vous pouvez utiliser un exemple de géodatabase créé pour ce didacticiel. Les étapes suivantes décrivent comment utiliser vos propres données ou la géodatabase d’exemple pour l’apprentissage d’un modèle.
Vous disposez maintenant des données en entrée nécessaires pour construire un modèle de classification d’images.
Entraîner un modèle
Ensuite, vous utiliserez ArcGIS Notebooks pour créer un modèle de classification d’images. Il vous faudra créer un notebook doté d’une capacité GPU avancé plus. Cette fonctionnalité utilise 30 crédits par heure.
Vous pouvez également télécharger et utiliser localement le notebook référencé, mais vous devez vous assurer de disposer du matériel adéquat.
Remarque :
Si vous désirez apprendre à utiliser ArcGIS Notebooks pour écrire du code Python pour ArcGIS, suivez le didacticiel Hello, Notebook ! Si vous voyez un bouton Download (Télécharger) mais aucun bouton Open Notebook (Ouvrir Notebook), vous n’êtes peut-être pas connecté. Si malgré la connexion, vous n’avez pas accès au bouton Open Notebook (Ouvrir Notebook), votre compte n’est pas activé pour l’utilisation d’un notebook. Contactez l’administrateur de votre organisation ArcGIS pour demander l’accès à Notebooks.
Vous serez également peut-être intéressé par les autres didacticiels Notebook disponibles dans la série de didacticiels Découvrir Python avec ArcGIS Notebooks.
Le guide Activer ArcGIS Notebooks pour votre organisation dans ArcGIS Online peut être utile pour les administrateurs qui n’ont pas activé ArcGIS Notebooks auparavant.
Configurer ArcGIS Notebooks
Vous allez commencer par créer un notebook dans ArcGIS Notebooks. Si vous ne parvenez pas à accéder à ArcGIS Notebooks, vous pouvez télécharger un modèle entraîné à utiliser dans la section suivante de ce didacticiel.
- Téléchargez le notebook SignImageClassificationModel.
- Renommez le fichier téléchargé en ajoutant vos initiales au fichier .ipynb.
Les noms d’élément dans une organisation ArcGIS doivent être uniques. Si quelqu’un d’autre dans votre organisation a suivi ce didacticiel, il se peut qu’un fichier de notebook avec le nom par défaut ait déjà été chargé.
- Si nécessaire, connectez-vous à votre organisation ArcGIS.
- Sur le ruban, cliquez sur l’onglet Content (Contenu).
- Cliquez sur New item (Nouvel élément).
- Faites glisser votre fichier .ipynb ou accédez-y pour l’ajouter à la fenêtre New item (Nouvel élément).
- Dans la fenêtre New item (Nouvel élément), définissez les paramètres suivants :
- Pour Title (Titre), saisissez Modèle de collecte d’images de panneaux_(Votre nom).
- Pour Folder (Dossier), sélectionnez ou créez un dossier de projet approprié.
- Pour Tags (Balises), saisissez SignImageCollectionModel.
- Pour Summary (Résumé), saisissez Modèle de collecte d’images de panneaux.
- Cliquez sur Save (Enregistrer).
L’élément est créé et sa page des détails s’affiche.
- Dans la page des détails, cliquez sur l’onglet Settings (Paramètres).
- Pour Notebook Runtime (Runtime de notebook), choisissez ArcGIS Notebook Python 3 Advanced with GPU support – 9.0.
- Cliquez sur Save (Enregistrer).
- Cliquez sur l’onglet Overview (Présentation).
- Cliquez sur Open notebook (Ouvrir un notebook).
Les instructions pour exécuter le notebook et créer les fichiers de modèle sont incluses dans le texte du notebook.
- Effectuez les étapes dans le notebook et revenez ensuite à ce didacticiel.
Les étapes du notebook sont les suivantes :
- Configuration de l’environnement
- Téléchargement des images d’entraînement à partir de la couche d’entités
- Entraînement du modèle
- Test du modèle (facultatif)
Remarque :
Le notebook est conçu pour pouvoir être exécuté à l’aide des données fournies. Il est important de suivre les étapes décrites dans le notebook, surtout de procéder au redémarrage du noyau lorsque vous y êtes invité.
Si vous avez collecté vos propres images, vous pouvez modifier les ID des éléments référencés dans le notebook pour créer un modèle à partir de vos propres images.
Télécharger les résultats du modèle
Une fois que le notebook est terminé, un paquetage de fichiers est généré. Vous allez télécharger ces fichiers afin de les inclure dans votre enquête de test.
- Dans ArcGIS Notebooks, choisissez Files (Fichiers).
- Accédez à /arcgis/home/tmp/fa40cf680eb4436daf4109b887b52b30/models/
Remarque :
Les noms par défaut sont basés sur la date d’exécution du notebook. Vos noms de fichier peuvent différer de ceux de l’illustration ci-dessus.
- Téléchargez le fichier .zip.
Remarque :
Si vous n’avez pas entraîné de modèle, vous pouvez télécharger un modèle à utiliser dans la section suivante de ce didacticiel.
- Extrayez le contenu du fichier .zip dans un emplacement approprié de votre ordinateur.
Vous avez téléchargé les fichiers en sortie de modèle de classification d’images à utiliser dans l’application de terrain Survey123 pour identifier automatiquement les panneaux de limitation de vitesse et de stop.
Tester le modèle
Ajoutez maintenant les fichiers de modèle de classification d’images à une enquête pour identifier les panneaux de limitation de vitesse et de stop.
L’idéal serait d’aller sur le terrain pour tester cette enquête, mais si vous ne le pouvez pas ou que vous n’avez pas de panneau de limitation de vitesse ou de stop à proximité, vous pouvez aussi simuler ce test avec des photos sur votre ordinateur.
Créer et publier une enquête
Tout d’abord, vous allez créer une enquête à l’aide de Survey123 Connect qui utilisera les fichiers de modèle que vous avez créés pour classifier les images comme panneaux de stop ou de limitation de vitesse.
- Téléchargez le fichier SignImageClassificationModelTesting .xlsx.
- Démarrez Survey123 Connect. Le cas échéant, connectez-vous à votre compte d’organisation ArcGIS.
- Faites glisser le fichier .xlsx que vous avez téléchargé sur la bibliothèque d’enquêtes.
Une nouvelle enquête est créée avec le nom SignImageClassificationModelTesting.
- Une fois l’importation effectuée, cliquez sur OK.
- Dans le menu latéral, cliquez sur Files (Fichiers).
Tous les fichiers en rapport avec l’enquête SignImageClassificationModelTesting sont visibles. Votre enquête possède un dossier media. Copiez et collez deux fichiers de modèle à partir du dossier que vous avez téléchargé dans le dossier media.
- Ouvrez le dossier contenant les sorties de modèle. Recherchez et copiez les fichiers de modèle possédant les extensions .emd et .tflite.
Remarque :
Les noms de ces fichiers sont basés sur la date d’exécution du notebook. Vos noms de fichier peuvent différer de ceux de l’illustration ci-dessus.
Les fichiers .emd et .tflite permettent à votre enquête de détecter les panneaux de limitation de vitesse et de stop à l’aide de l’appareil photo de votre appareil mobile.
- Retournez au dossier SignImageClassificationModelTesting de votre enquête. Ouvrez le dossier media et collez les fichiers .emd et .tflite dans le dossier media.
- Fermez les fenêtres du navigateur de fichiers et retournez à Survey123 Connect.
La nouvelle enquête a les fonctionnalités suivantes :
- La question Sign Image (Image du panneau) ressemble au bouton d’appareil photo standard dans Survey123, mais elle utilise le modèle que vous avez inclus dans l’enquête pour interpréter le contenu de la photo capturée.
- La question Sign Type (Type de panneau) vérifie automatiquement le type de panneau détecté dans la photo.
- La question Is This Correct (Est-ce correct ?) permet aux utilisateurs de confirmer le succès de l’appareil photo.
Vous êtes prêt à publier votre enquête.
- Dans le menu latéral, cliquez sur Publish (Publier).
- Dans la fenêtre Publish SignImageClassificationModelTesting (Publier SignImageClassificationModelTesting), cliquez sur Publish Survey (Publier l’enquête).
Survey123 Connect publie le contenu dans votre organisation ArcGIS. La publication peut prendre plus de temps que d’habitude car vous incluez les fichiers de classification des images dans l’enquête.
- Lorsque la publication est terminée, cliquez sur OK.
- Dans le menu latéral, cliquez sur le bouton More actions (Autres actions) et sélectionnez Manage in Survey123 website (Gérer sur le site Web de Survey123).
L’enquête publiée s’ouvre à la page Overview (Vue d’ensemble) sur le site Web Survey123. Pour permettre à d’autres personnes d’utiliser l’enquête, vous allez la partager avec votre organisation.
- Sur le ruban, cliquez sur Collaborate (Collaborer).
- Sous l’onglet Share survey (Partager l’enquête), pour Who can submit to this survey (Qui peut envoyer des données à cette enquête), sélectionnez Members of my organization (Membres de mon organisation). Cliquez sur Save (Enregistrer).
- Dans la fenêtre Share survey (Partager une enquête), cliquez sur Save (Enregistrer).
Vous venez de créer une enquête pour tester un modèle de classification d’images.
L’étape suivante consiste à utiliser l’enquête pour tester le modèle. Vous souhaitez tester la précision du modèle en prenant des photos dans différentes conditions de lumière, sous différents angles et à différentes distances. Plus vous testez des échantillons variés avec succès, plus vous serez confiant lorsque vous partagerez ces modèles.
Utiliser l’enquête
Maintenant que l’enquête est publiée, vous allez la télécharger sur votre appareil mobile. Vous pouvez aller à l’extérieur et prendre des photos des panneaux de stop et de limitation de vitesse.
Remarque :
Si vous ne pouvez pas tester l’enquête sur le terrain, vous pouvez utiliser cette collection d’images d’exemple. Ouvrez les photos sur votre ordinateur et utilisez votre appareil pour photographier les images affichées sur l’écran de l’ordinateur.
- Ouvrez l’application de terrain Survey123 sur votre appareil mobile.
- Si nécessaire, connectez-vous à votre organisation ArcGIS.
L’application s’ouvre à la page My Survey123 (Mon Survey123). Afin de collecter des enregistrements pour l’enquête, vous allez devoir la télécharger.
- Touchez le bouton Menu (Menu) et sélectionnez Download Surveys (Télécharger les enquêtes).
La page Download Surveys (Télécharger les enquêtes) dresse la liste de toutes les enquêtes partagées dans votre organisation.
- Dans la barre de recherche, saisissez SignImageClassificationModelTesting. Dans les résultats de la recherche, recherchez votre enquête SignImageClassificationModelTesting et touchez Download (Télécharger).
L’enquête est téléchargée sur votre appareil.
- Une fois que l’enquête a été téléchargée, touchez la flèche Retour pour retourner à la bibliothèque d’enquêtes.
- Touchez l’enquête SignImageClassificationModelTesting. Dans la page de contenu de l’enquête, touchez Collect (Collecter).
- Pour la question Sign Image (Image du panneau), touchez le bouton d’appareil photo.
- Photographiez un panneau de stop ou de limitation de vitesse.
L’aperçu de l’appareil photo affiche en haut de l’écran une classification (stop ou limitation de vitesse) et une valeur de confiance.
Une fois que l’image a été capturée, vous retournez à la page d’enquête. La question Sign Type (Type de panneau) est automatiquement mise à jour avec la même valeur que celle affichée dans l’aperçu de la caméra. Cette classification d’image a été réalisée par les fichiers de modèle qui étaient inclus dans l’enquête.
Vous devez à présent valider le résultat des atributs intelligents.
- Si le modèle a correctement prédit le type de panneau, à la question Is this correct (Est-ce correct ?), touchez Yes (Oui). Sinon, touchez No (Non).
- Touchez le bouton Submit (Envoyer).
Si votre appareil est en ligne, vous êtes invité à sélectionner Send now (Envoyer maintenant), Continue this survey (Continuer cette enquête) ou Save in Outbox (Enregistrer dans la boîte d’envoi).
- Touchez Send now (Envoyer maintenant).
- Continuez à photographier les panneaux de stop ou de limitation de vitesse jusqu’à ce que vous en ayez envoyé au moins 10 de chaque.
Vous avez utilisé l’appareil photo pour classer les photos contenant des panneaux de stop ou de limitation de vitesse. Si les résultats vous satisfont, vous pouvez utiliser ces fichiers de modèle dans n’importe quelle enquête pour identifier les panneaux de stop ou de limitation de vitesse. Si les résultats ne vous satisfont pas, vous devrez peut-être répéter l’entraînement du modèle.
Envisagez les mesures suivantes pour améliorer la qualité du modèle :
- Examinez les images utilisées pour l’apprentissage du modèle.
- Assurez-vous que le panneau est au milieu de l’image et recadrez-la si nécessaire.
- Assurez-vous de disposer d’une variété de photos avec éclairage, angle et distance par rapport à l’objet différents.
- Continuez l’entraînement des données en augmentant les epoch (iterations) jusqu’à ce que la perte de validation (valid_loss) et la perte d’entraînement (train_loss) soient inférieures à 1. Il est recommandé d’augmenter les epochs de 5 pour chaque entraînement.
Vous trouverez d’autres didacticiels dans la bibliothèque des didacticiels.
