Créer un pipeline de données
Pour créer le jeu de données final demandé par les parties prenantes, le pipeline de données doit transformer les données en activant la localisation, en supprimant les attributs superflus et en calculant de nouveaux champs.
Vous allez ajouter la table initiale contenant des informations sur les projets d’investissement, filtrer le jeu de données, créer sa géométrie à l’aide de coordonnées, reprojeter les données et calculer un champ.
Créer un pipeline de données
Vous allez commencer par vous connecter à ArcGIS Onlinepour créer un pipeline de données vide.
- Connectez-vous à votre compte d’organisation ArcGIS.
Remarque :
Si vous ne disposez pas d’un compte d’organisation, consultez les options disponibles pour accéder aux logiciels.
- Sur le ruban, cliquez sur le bouton App Launcher (Lanceur d’applications). Choisissez Data Pipelines.
Un onglet du navigateur s’ouvre avec une bibliothèque présentant les pipelines de données qui vous appartiennent.
- Cliquez sur Create data pipeline (Créer un pipeline de données).
L’éditeur Data Pipelines apparaît. Cet environnement de mise à jour permet d’ajouter des entrées de données, de fournir un accès aux outils pour transformer les données et de vous permettre d’écrire les données traitées dans une couche d’entités.
Lorsque vous travaillez de manière active dans l’éditeur Data Pipelines, vous êtes connecté à une ressource de calcul comme indiqué par la boîte de dialogue Détails de la connexion.
Remarque :
L’utilisation de ArcGIS Data Pipelines nécessite des crédits. Des crédits sont utilisés si le statut figurant sur la page de l’éditeur est Connected (Connecté). Pour en savoir plus sur la consommation des crédits dans ArcGIS Data Pipelines, lisez Est-ce que Data Pipelines facture des crédits et Ressources de calcul.
Ajouter une table CSV comme entrée
À présent que l’éditeur Data Pipelines est ouvert, vous allez ajouter votre premier jeu de données en entrée. Il s’agit de la table des projets d’investissement provenant du DPR. Comme cette table est mise à jour régulièrement, une table exportée serait rapidement périmée. Par conséquent, vous allez accéder à la table .csv directement à sa source.
- Ouvrez la page des OpenData de la ville de New York (NYC OpenData) pour le jeu de données Capital Project Tracker.
Un onglet de navigateur s’ouvre sur la vue d’ensemble du jeu de données Capital Project Tracker. Elle fournit de précieuses informations, telles que la fréquence à laquelle le jeu de données est mis à jour, la date de la dernière mise à jour et une description de chaque colonne de la table .csv.
- Cliquez sur le bouton Export.
La fenêtre Export dataset s’ouvre.
- Dans la fenêtre Export dataset, cliquez sur API endpoint
Remarque :
Le nombre de lignes qui apparaît dans ce jeu de données et d’autres jeux de données de ce didacticiel peut être légèrement différent de celui indiqué dans les images fournies étant donné que des modifications sont apportées de temps à autre à ce jeu de données.
L’extrémité de l’API permet d’accéder au jeu de données via une URL.
Un message d’avertissement apparaît. Il indique que, par défaut, vous n’aurez accès qu’à 1 000 lignes de ce jeu de données qui en comporte 2 542. Par la suite, vous allez élever cette limite à 3 000 lignes.
Même si Data Pipelines accepte les formats de données JSON, vous allez changer le format de données et opter pour le format .csv.
- Pour Data format, choisissez CSV.
Vous allez ensuite copier l’URL pour ce jeu de données.
- Cliquez sur Copy to clipboard.
À présent, vous allez ajouter cette table .csv au pipeline de données sous forme d’une entrée Public URL (URL publique).
- Dans la barre d’outils Editor (Éditeur), cliquez sur Inputs (Entrées). Dans la fenêtre Inputs (Entrées), sous File (Fichier), choisissez Public URL (URL publique).
Remarque :
Pour afficher le nom des boutons de la barre d’outils Editor (Éditeur), cliquez sur le bouton Expand (Développer) en bas de la barre d’outils.
La fenêtre Add a URL (Ajouter une URL) apparaît.
- Cliquez sur la zone de texte URL et appuyez sur Ctrl + V pour coller l’URL que vous avez copiée à partir du site Web NYC OpenData.
Le paramètre Data format (Format de données) est automatiquement sélectionné.
Cette URL applique une limite de 1 000 lignes au jeu de données source. Pour surmonter cette limite, vous allez ajouter un paramètre d’URL à l’URL existante afin d’élever cette limite à 3 000 lignes. Vous repoussez la limite à 3 000 lignes, car la table comporte 2 542 lignes. Une limite de 3 000 lignes est suffisante pour la taille actuelle du jeu de données et autorise une future augmentation.
- Cliquez une fois à la fin de l’URL que vous avez collée. Saisissez ?$limit=3000.
La première entrée est complète.
- Cliquez sur Add (Ajouter).
L’élément Public URL (URL publique) est ajouté à la zone d’affichage.
Le nom de l’élément provient du nom du fichier .csv auquel vous avez accédé. Vous allez modifier son nom.
- Dans la barre d’actions Element (Élément), cliquez sur le bouton Rename (Renommer).
- Dans la zone de texte, effacez le texte éventuel et saisissez Capital Project Tracker (Suivi des projets d’investissement), puis appuyez sur Entrée. Développez l’élément de sorte que le nom soit visible.
Comme l’élément est sélectionné dans la zone d’affichage, la fenêtre Public URL (URL publique) est ouverte. Là, vous pouvez configurer ou reconfigurer tout élément sélectionné dans la zone d’affichage.
Vous allez maintenant afficher l’aperçu du jeu de données que vous venez d’ajouter.
- Dans la fenêtre Public URL (URL publique), cliquez sur Preview (Aperçu).
La fenêtre Preview (Aperçu) apparaît. Elle présente l’aperçu de la table pour le moment. En affichant l’aperçu des données, vous allez savoir à quoi ressemblent les données après avoir exécuté le pipeline de données.
Remarque :
Vous pouvez également afficher des données en cliquant sur le bouton Preview (Aperçu) dans la barre d’actions d’un élément.
La partie supérieure de la table indique que le nombre d’enregistrements s’élève à 2 554. Cela peut ne pas correspondre au nombre de lignes figurant sur le site Web OpenData. Si le nombre de lignes ne correspond pas, cela est dû au fait que certains enregistrements contiennent un caractère affichant l’enregistrement sur plusieurs lignes. Dans la fenêtre Public URL (URL publique), vous pouvez tenir compte de cette information.
- Dans la fenêtre Public URL (URL publique), cliquez sur Has multiline data (Comporte des données multilignes).
- Cliquez sur Preview (Aperçu).
L’aperçu est actualisé. Le nombre d’enregistrements s’élève maintenant à 2 542.
- Faites défiler la table pour observer les données fournies par NYC OpenData.
- Cliquez sur le bouton Map preview (Aperçu de la carte).
Comme il s’agit seulement d’une table et qu’aucune géométrie n’a été définie, l’aperçu de la carte n’est pas disponible. Vous allez faire en sorte qu’un aperçu de la carte soit disponible dans une section ultérieure.
- Cliquez sur le bouton Schema (Structure).
Cette opération dresse la liste de tous les champs du jeu de données et les types de champ correspondants. Tout au long de ce didacticiel, vous allez utiliser un certain nombre de ces champs afin de transformer les données, en particulier currentphase, designstart, latitude et longitude.
- Cliquez sur le bouton Messages.
En cas d’erreurs ou d’avertissements dans le jeu de données prévisualisé, ceux-ci apparaissent ici.
- Fermez la fenêtre d’aperçu.
Filtrer les données par attribut
Une fois que vous avez ajouté la table .csv au pipeline de données, vous allez utiliser un outil pour filtrer le jeu de données afin de n’afficher que les projets d’investissement dont la phase actuelle est construction et qui possèdent des valeurs de latitude et de longitude incorrectes.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils).
La fenêtre Tools (Outils) apparaît. Les outils répertoriés, par catégorie, permettent de manipuler les jeux de données du pipeline de données. Vous allez ajouter l’outil Filter by attribute (Filtrer par attribut) pour retirer les lignes dont la phase actuelle n’est pas construction. Vous allez filtrer toutes les lignes dont la valeur de latitude ou de longitude est égale à 0 pour les exclure.
- Dans la fenêtre Tools (Outils), sous Clean (Nettoyer), cliquez sur Filter by attribute (Filtrer par attribut).
Un élément est ajouté à la zone d’affichage. Il doit être connecté à un élément existant contenant des données. Il doit ensuite être configuré.
- Placez l’élément Filter by attribute (Filtrer par attribut) à droite de l’élément Public URL (URL publique).
- Dans la fenêtre Filter by attribute (Filtrer par attribut), sous Input dataset (Jeu de données en entrée), cliquez sur Dataset (Jeu de données). Dans la fenêtre Select dataset (Sélectionner un jeu de données), choisissez Capital Project Tracker.
Les deux éléments sont connectés. Les données passent du fichier .csv dans l’outil Filter by attribute (Filtrer par attribut) lorsque le pipeline de données est exécuté.
Remarque :
Vous pouvez également connecter des éléments dans un pipeline de données en faisant glisser le pointeur à partir du port en sortie d’un élément au port en entrée de l’autre élément.
À présent, vous allez configurer le filtre pour exclure les enregistrements avec une valeur de latitude ou de longitude égale à 0 et n’afficher que les enregistrements avec la valeur de phase actuelle construction.
- Dans la fenêtre Filter by attribute (Filtrer par attribut), cliquez sur Build new query (Créer une nouvelle requête).
La fenêtre Query builder (Générateur de requêtes) apparaît.
- Assurez-vous que l’option Expression est sélectionnée, puis cliquez sur Next (Suivant).
- Pour la première expression, définissez le champ sur latitude et l’opérateur sur does not equal (n’est pas égal à). Saisissez 0 comme valeur.
- Cliquez sur le bouton Expression.
- Écrivez une deuxième expression longitude does not equal 0 (longitude n’est pas égale à 0).
- Ajoutez une autre expression et appliquez-la pour rechercher les lignes currentphase equals construction (currentphase est égal à construction).
Remarque :
Pour spécifier la valeur, utilisez la liste déroulante afin de sélectionner une valeur plutôt que de la saisir.
- Cliquez sur Add (Ajouter).
Vous allez maintenant examiner les résultats.
- Dans la fenêtre Filter by attribute (Filtrer par attribut), cliquez sur Preview (Aperçu).
La fenêtre d’aperçu apparaît. Le nombre total des enregistrements figure sous le titre de cette table. Précédemment, il s’élevait à plus de 2 500 enregistrements. Avec les filtres que vous avez appliqués, ce nombre affiche moins de 200 enregistrements.
- Faites défiler la table et observez les valeurs des champs latitude, longitude et currentphase.
Ces valeurs satisfont les critères de votre requête.
- Fermez la fenêtre d’aperçu.
Lorsque l’élément d’outil a été ajouté à la zone d’affichage, il a reçu le nom par défaut Filter by attribute (Filtrer par attribut). Vous allez modifier ce nom pour en utiliser un qui soit plus pertinent.
- Dans la barre d’actions Element (Élément), cliquez sur le bouton Rename (Renommer) et saisissez Filtre pour Phase de construction. Redimensionnez l’élément de sorte que le nom soit visible.
Avant d’ajouter des éléments supplémentaires, vous allez enregistrer le pipeline de données.
- Dans la barre d’outils Editor (Éditeur), cliquez sur Save and open (Enregistrer et ouvrir), puis sélectionnez Save As (Enregistrer sous).
La fenêtre Save data pipeline (Enregistrer le pipeline de données) s’affiche.
- Dans Title (Titre), saisissez Capital Projects Data Pipeline (Pipeline de données des projets d’investissement).
- Cliquez sur Save (Enregistrer).
Le pipeline de données est enregistré.
Créer une géométrie ponctuelle
Vous allez utiliser les colonnes de latitude et de longitude du jeu de données filtré pour appliquer à ce dernier une géométrie que vous pourrez visualiser sur une carte.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils). Dans la fenêtre Tools (Outils), sous Construct (Créer), cliquez sur Create geometry (Créer une géométrie).
L’élément Create geometry (Créer une géométrie) est ajouté à la zone d’affichage.
- Placez l’élément Create geometry (Créer une géométrie) à droite de l’élément Filter by attribute (Filtrer par attribut).
- Cliquez sur le port en sortie de l’élément Filter by attribute (Filtrer par attribut) et faites-le glisser vers le port en entrée de l’élément Create geometry (Créer une géométrie).
Les deux éléments sont connectés. Vous allez maintenant configurer l’élément Create geometry (Créer une géométrie). Comme la table contient des valeurs de latitude et de longitude, vous pouvez créer une géométrie ponctuelle.
- Dans la fenêtre Create geometry (Créer une géométrie), pour Geometry Type (Type de géométrie), choisissez Point. Pour Geometry format (Format de géométrie), choisissez XYZ.
Des paramètres supplémentaires apparaissent. Ces paramètres permettent de déterminer les champs de la table qui contiennent des valeurs X, Y et Z. Le jeu de données ne contient pas de valeurs Z, le paramètre correspondant ne sera donc pas utilisé.
- Pour X Field (Champ X), sélectionnez longitude. Pour Y Field (Champ Y), sélectionnez latitude.
- Cliquez sur Preview (Aperçu).
- Dans la fenêtre d’aperçu, cliquez sur le bouton Map preview (Aperçu de la carte).
Les localisations des projets d’investissement sont visibles sur la carte. Vous pouvez cliquer sur des entités pour voir leurs attributs dans une fenêtre contextuelle.
- Fermez la fenêtre d’aperçu.
Projeter des données ponctuelles
Les points ont été créés avec des valeurs de latitude et de longitude utilisant le système de coordonnées géographiques WGS 1984. Il ne s’agit pas du système de coordonnées le plus adapté pour la ville de New York. Vous allez ensuite projeter les données vers un système de coordonnées plus approprié.
Remarque :
Si vous avez besoin d’approfondir vos connaissances en matière de systèmes de coordonnées, consultez le billet de blog Coordinate Systems: What’s the Difference.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils). Dans la fenêtre Tools (Outils), sous Format, cliquez sur Project geometry (Projeter la géométrie).
L’élément Project geometry (Projeter la géométrie) est ajouté à la zone d’affichage.
- Placez l’élément Project geometry (Projeter la géométrie) à droite de l’élément Create geometry (Créer une géométrie).
- Cliquez sur le port en sortie de l’élément Create geometry (Créer une géométrie) et faites-le glisser vers le port en entrée de l’élément Project geometry (Projeter la géométrie).
Les deux éléments sont connectés. Vous allez maintenant configurer l’élément Project geometry (Projeter la géométrie).
- Dans Project geometry (Projeter la géométrie), pour Spatial Reference (Référence spatiale), cliquez sur Browse coordinate systems (Parcourir les systèmes de coordonnées).
Pour un système de coordonnées projetées, vous allez utiliser le système NAD 1983 (2011) StatePlane Texas New York Long Isl Central FIPS 3104 (Meters) (mètres). Son numéro d’ID est le 6538.
- Dans la fenêtre Browse coordinate systems (Parcourir les systèmes de coordonnées), dans la zone de recherche, saisissez 6538. Choisissez NAD 1983 (2011) StatePlane Texas New York Long Isl Central FIPS 3104 (Meters) (mètres).
- Cliquez sur Done (Terminé).
Calculer un nouveau champ
Pour l’étape finale de la préparation du jeu de données en entrée initial, vous allez calculer un nouveau champ. Le jeu de données contient le champ designstart. Celui-ci enregistre la date à laquelle chaque projet a commencé. Vous allez calculer un champ supplémentaire qui détermine le temps (en nombre d’années et de jours) qui s’est écoulé depuis le démarrage de chaque projet.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils). Dans la fenêtre Tools (Outils), sous Construct (Créer), cliquez sur Calculate field (Calculer un champ).
L’élément Calculate field (Calculer un champ) est ajouté à la zone d’affichage.
- Placez l’élément Calculate field (Calculer un champ) à droite de l’élément Project geometry (Projeter la géométrie).
- Cliquez sur le port en sortie de l’élément Project geometry (Projeter la géométrie) et faites-le glisser vers le port en entrée de l’élément Calculate field (Calculer un champ).
Les deux éléments sont connectés. Vous allez maintenant configurer l’élément Calculate field (Calculer un champ). Vous allez commencer par donner un nom au nouveau champ.
- Dans la fenêtre Calculate field (Calculer un champ), pour New field name (Nom du nouveau champ), saisissez Elapsed_Time.
Remarque :
Les noms de champ ne peuvent pas contenir de caractères spéciaux, tels que des espaces.
Vous allez maintenant sélectionner le type de champ. Comme ce champ va contenir des caractères numériques et alphabétiques, il doit s’agir d’un champ string (chaîne).
- Pour New field type (Nouveau type de champ), sélectionnez String (Chaîne).
Ensuite, vous allez écrire une expression pour calculer le champ. Cet outil utilise des expressions ArcGIS Arcade pour calculer les champs.
Remarque :
Pour savoir plus sur ArcGIS Arcade, lisez Learn ArcGIS Arcade in Four Easy Steps.
- Sous Arcade expression (Expression Arcade), cliquez sur Author Arcade expression (Créer une expression Arcade).
La fenêtre Arcade expression (Expression Arcade) s’ouvre. Vous pouvez y écrire des expressions Arcade pour calculer des valeurs de champs. Vous allez copier et coller un code qui renvoie le nombre d’années et de jours qui se sont écoulés depuis que la conception d’un projet d’investissement a commencé.
- Dans la fenêtre Arcade expression (Expression Arcade), effacez le code fourni à titre d’exemple.
- Copiez et collez le code suivant dans la fenêtre Arcade expression (Expression Arcade) :
//Convert time between 2 fields to count years and days //Determine the total number of days var TotalDays = DateDiff(now(), $record.designstart, "days") //Determine the number of days var RemainderDays = Floor(TotalDays % 365) //Determine the number of years var RemainderYears = Floor(DateDiff(now(), $record.designstart, "years")) //Format the final text to account for year(s) and day(s) if(RemainderYears == 1 && RemainderDays == 1){ return RemainderYears + " year and " + RemainderDays + " day" } else if (RemainderYears == 1 && RemainderDays != 1){ return RemainderYears + " year and " + RemainderDays + " days" } else if (RemainderYears != 1 && RemainderDays == 1){ return RemainderYears + " years and " + RemainderDays + " day" } else{ return RemainderYears + " years and " + RemainderDays + " days" }
Le format désiré de ce calcul est X years and Y days (X ans et Y jours). Pour cela, l’expression détermine en premier lieu le nombre de jours depuis le début de la conception du projet d’investissement. Comme le nombre de jours peut être supérieur à une année, le code divise le nombre de jours par 365 et renvoie le quotient. Il renvoie la valeur Y au format souhaité. L’expression calcule ensuite le nombre d’années depuis que le projet a démarré. Cela correspond à la valeur X, au format souhaité. La dernière partie de l’expression, qui commence à la ligne 12, met en forme le texte years (années) et days (jours) pour lui appliquer une forme singulier ou pluriel selon le nombre de jours ou d’années depuis le début de la conception.
- Cliquez sur Save (Enregistrer).
Le champ Elapsed_Time est ajouté à la table et calculé.
- Dans la fenêtre Calculate field (Calculer un champ), cliquez sur Preview (Aperçu).
- Dans la fenêtre d’aperçu, faites défiler l’affichage jusqu’au champ Elapsed_Time.
Pour chaque projet, le nombre d’années et de jours depuis que le début du projet est enregistré dans un format compréhensible.
- Fermez la fenêtre d’aperçu.
Vous allez renommer cet élément pour clarifier le champ qu’il calcule.
- Renommez l’élément Calculate field (Calculer un champ) en Calculer le temps écoulé.
- Développez l’élément de sorte que son nom complet soit visible.
Pour finir, vous allez enregistrer votre pipeline de données.
- Dans la barre d’outils Editor (Éditeur), cliquez sur Save and open (Enregistrer et ouvrir), puis sélectionnez Save (Enregistrer).
Pour l’instant, vous avez ajouté une table .csv et commencé à transformer les données des projets d’investissement. Vous avez également filtré les données, leur avez attribué une géométrie ponctuelle à l’aide de coordonnées, les avez reprojetées dans un système de coordonnées adéquat et avez calculé un champ pour indiquer le temps écoulé depuis qu’un projet a été conçu.
Effectuer des jointures spatiales
À ce stade, les données de projet d’investissement ont été ajoutées et partiellement mises en forme, mais il est encore nécessaire de les compléter par d’autres jeux de données. Pour chaque projet d’investissement, vous devez déterminer la zone d’agrégation et le district de la communauté dont il dépend. Les zones d’agrégation (neighborhood tabulation areas) et les districts de la communauté (community districts) existent en tant que jeux de données surfaciques disponibles publiquement. Vous allez ajouter ces jeux de données à votre pipeline de données et utiliser des jointures spatiales pour ajouter le nom du quartier et du district à chaque projet d’investissement.
Ajouter des données GeoJSON en entrée
Pour commencer, vous allez ajouter le jeu de données des zones d’agrégation au pipeline de données. Il est disponible sur le site Web NYC OpenData au format GeoJSON.
- Ouvrez la page NYC OpenData du jeu de données 2020 Neighborhood Tabulation Areas (NTAs) - Tabular.
Un onglet de navigateur s’ouvre sur la vue d’ensemble du jeu de données 2020 Neighborhood Tabulation Areas (NTAs) - Tabular. À l’instar du jeu de données Capital Project Tracker, cette page présente une vue d’ensemble du jeu de données et indique la fréquence à laquelle il est mis à jour.
- Cliquez sur le bouton Export.
La fenêtre Export dataset s’ouvre. Comme ce jeu de données renferme moins de 1 000 lignes, il est inutile de modifier l’URL comme vous l’avez fait pour le jeu de données Capital Project Tracker.
- Dans la fenêtre Export dataset, cliquez sur API endpoint
Remarque :
Le nombre de lignes qui apparaît dans ce jeu de données peut être légèrement différent de celui indiqué dans l’image ci-dessus étant donné que des modifications sont apportées de temps à autre à ce jeu de données.
Le format JSON est répertorié par défaut. Toutefois, pour ajouter ce jeu de données au pipeline de données et créer une géométrie surfacique, il est plus sensé d’utiliser le format GeoJSON.
- Pour Data format, choisissez GeoJSON.
Vous allez ensuite copier l’URL pour ce jeu de données.
- Cliquez sur Copy to clipboard.
Vous allez ajouter ce fichier GeoJSON au pipeline de données sous forme d’une entrée Public URL (URL publique).
- Dans l’éditeur Data Pipelines, dans la barre d’outils Editor (Éditeur), cliquez sur Inputs (Entrées). Dans la fenêtre Inputs (Entrées), sous File (Fichier), choisissez Public URL (URL publique).
La fenêtre Add a URL (Ajouter une URL) apparaît.
- Pour URL, collez l’URL que vous avez copiée depuis le site Web NYC OpenData.
Le paramètre Data format (Format de données) est automatiquement sélectionné.
- Cliquez sur Add (Ajouter).
L’élément Public URL (URL publique) est ajouté à la zone d’affichage.
À nouveau, le nom actuel n’est pas intuitif. Vous allez renommer cet élément.
- Renommez l’élément Public URL (URL publique) en Neighborhood Tabulation Areas (Zones d’agrégation).
- Redimensionnez l’élément Public URL (URL publique) de sorte que le nom complet soit visible.
- Placez l’élément sous l’élément Project geometry (Projeter la géométrie).
Vous allez ensuite afficher un aperçu du jeu de données que vous venez d’ajouter.
- Dans la fenêtre Public URL (URL publique), cliquez sur Preview (Aperçu).
Dans la fenêtre d’aperçu, observez les champs fournis avec ce jeu de données. Le champ ntaname est l’attribut que vous allez ajouter à la couche ponctuelle des projets d’investissement à l’aide d’une jointure spatiale.
- Cliquez sur le bouton Map preview (Aperçu de la carte).
Une carte s’affiche et montre les quartiers dessinés sous forme de polygones.
- Fermez la fenêtre d’aperçu.
Données surfaciques du projet
Comme les points des projets d’investissement, les quartiers GeoJSON utilisent le système de coordonnées géographiques WGS 1984. Par conséquent, vous allez ajouter un autre outil Project geometry (Projeter la géométrie) pour projeter les quartiers dans la même zone State Plane que celle que vous avez utilisée pour les localisations des projets d’investissement. Pour gagner du temps, vous allez copier l’élément Project geometry (Projeter la géométrie) existant.
- Sur la zone d’affichage, sélectionnez l’élément Project geometry (Projeter la géométrie).
- Appuyez sur les touches Ctrl + C pour copier l’élément.
- Appuyez sur Ctrl + V pour coller l’élément sur la zone d’affichage.
- Placez l’élément Project geometry (Projeter la géométrie) à droite de l’élément Public URL (URL publique) des Neighborhood Tabulation Areas (Zones d’agrégation).
- Cliquez sur le port en sortie de l’élément Public URL (URL publique) et faites-le glisser vers le port en entrée de l’élément Project geometry (Projeter la géométrie).
Les deux éléments sont connectés. Comme vous avez copié cet élément, le système de coordonnées est déjà sélectionné. À présent, le jeu de données des quartiers utilise le système de coordonnées qui convient.
Jointure spatiale des projets d’investissement et des quartiers
Comme les jeux de données utilisent désormais le même système de coordonnées, vous allez ajouter une jointure spatiale au pipeline de données. Cette jointure spatiale détermine le quartier dont dépend chaque point de projet d’investissement et ajoute les attributs de voisinage correspondant au point de projet d’investissement.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils). Dans la fenêtre Tools (Outils), sous Integrate (Intégrer), cliquez sur Join (Joindre).
L’élément Join (Joindre) est ajouté à la zone d’affichage.
- Placez l’élément Join (Joindre) à droite des éléments Calculate field (Calculer un champ) et Project geometry (Projeter la géométrie).
Vous allez maintenant connecter les éléments Calculate field (Calculer un champ) et Project geometry (Projeter la géométrie) à l’élément Join (Joindre). L’élément Join (Joindre) comporte deux ports en entrée. Le port en entrée supérieur est prévu pour le jeu de données cible. Le jeu de données cible est le jeu de données auquel seront ajoutés des attributs supplémentaires. Le port en entrée inférieur est prévu pour le jeu de données de jointure. Il s’agit du jeu de données qui partage ses attributs avec le jeu de données cible. Dans le cas de figure actuel, vous voulez que les projets d’investissement reçoivent des attributs du jeu de données relatifs aux quartiers. Par conséquent, l’élément Calculate field (Calculer un champ) est le jeu de données cible et sera connecté au port supérieur en entrée.
- Cliquez sur le port en sortie de l’élément Calculate field (Calculer un champ) et faites-le glisser vers le port supérieur en entrée de l’élément Join (Joindre). Cliquez sur le port en sortie de l’élément Project geometry (Projeter la géométrie) et faites-le glisser vers le port inférieur en entrée de l’élément Join (Joindre).
Les deux éléments sont connectés à l’élément Join (Joindre). Dans la fenêtre Join (Joindre), les paramètres Target dataset (Jeu de données cible) et Join dataset (Jeu de données de jointure) sont renseignés d’après les éléments que vous avez liés.
Vous allez ensuite définir l’élément Join (Joindre) pour utiliser une relation spatiale.
- Dans la fenêtre Join (Joindre), sous Spatial relationship (Relation spatiale), activez Use spatial relationship (Utilliser une relation spatiale).
Des paramètres supplémentaires apparaissent. Les paramètres Target geometry (Géométrie cible) et Join geometry (Géométrie de jointure) sont automatiquement renseignés. Vous devez encore choisir une valeur pour Spatial relationship (Relation spatiale). Cette relation spatiale définit le mode de jointure des jeux de données. Comme les points des projets d’investissement se trouvent à l’intérieur des polygones des quartiers, vous allez utiliser la relation Intersects (Intersecte).
- Pour Spatial relationship (Relation spatiale), choisissez Intersects (Intersecte).
- Cliquez sur Preview (Aperçu).
La fenêtre d’aperçu apparaît. Ce jeu de données continue de représenter les points de projets d’investissement. Dans l’aperçu de la table, les champs qui s’affichent en haut sont les points de projets d’investissement.
- Dans l’aperçu de la table, faites défiler la table jusqu’en bas pour trouver le champ ntaname.
Les champs en toute fin de table correspondent aux champs des quartiers. Pour chaque projet d’investissement, vous savez maintenant le quartier dans lequel il se déroule.
Au fur et à mesure que vous effectuez d’autres jointures, le nombre de champs devient excessif, d’autant plus que beaucoup d’entre eux n’ont pas été demandés par les parties prenantes. Vous allez supprimer les champs attributaires inutiles par la suite.
- Fermez la fenêtre d’aperçu.
Dans la section suivante, vous allez ajouter une deuxième jointure spatiale. Pour éviter toute confusion, vous allez d’abord renommer l’élément Join (Joindre).
- Renommez l’élément Join (Joindre) en Neighborhood Join (Jointure de voisinage).
Ajouter une couche d’entités en entrée
Certaines parties prenantes ont demandé que la sortie finale comporte également des informations sur le district de la communauté auquel est rattaché chaque projet d’investissement. Pour ce faire, vous allez utiliser un autre élément Join (Joindre), mais vous avez d’abord besoin du jeu de données surfaciques contenant ces districts. Au lieu d’utiliser un élément en entrée Public URL (URL publique), vous allez ajouter un élément en entrée Feature layer (Couche d’entités), car ce jeu de données se trouve dans ArcGIS Online.
- Dans la barre d’outils Editor (Éditeur), cliquez sur Inputs (Entrées). Dans la fenêtre Inputs (Entrées), sous ArcGIS, choisissez Feature layer (Couche d’entités).
La fenêtre Select a feature layer (Sélectionner une couche d’entités) s’ouvre. Vous pouvez ajouter des jeux de données depuis divers emplacements, tels que ArcGIS Living Atlas ou le contenu que vous possédez dans ArcGIS Online.
- Cliquez sur My content (Mon contenu) et choisissez ArcGIS Online.
Par la suite, vous allez rechercher un jeu de données mis à la disposition du public par la ville de New York qui contient les districts de la communauté.
- Dans la zone de recherche, saisissez New York City Community District (District de la communauté de New York).
- Faites défiler l’affichage vers le bas jusqu’à la couche Community District détenue par Data Owner.
Comme les couches d’entités peuvent contenir un grand nombre de sous-couches, vous allez d’ajouter la sous-couche CommunityDistrict au pipeline de données.
- Dans Community District, cliquez sur Select layer. Choisissez CommunityDistrict.
- Cliquez sur Add (Ajouter).
Un élément Feature layer (Couche d’entités) est ajouté à la zone d’affichage.
- Placez l’élément Feature layer (Couche d’entités) sous l’élément Project geometry (Projeter la géométrie) du jeu de données de voisinage.
Vous allez ensuite afficher un aperçu du jeu de données que vous venez d’ajouter.
- Dans la fenêtre Feature layer (Couche d’entités), cliquez sur Preview (Aperçu).
- Faites défiler la table d’aperçu vers le bas. Recherchez le champ COMMDIST.
Le champ COMMDIST est l’attribut que vous allez ajouter à la couche ponctuelle des projets d’investissement à l’aide d’une jointure spatiale.
- Cliquez sur le bouton Map preview (Aperçu de la carte).
Une carte s’affiche et montre les districts de la communauté dessinés sous forme de polygones.
- Fermez la fenêtre d’aperçu.
Projeter une couche d’entités
L’entité que vous avez ajoutée utilise le système de coordonnées projetées Web Mercator (Sphère auxiliaire). Pour garantir l’exactitude des données, vous allez projeter cette couche d’entités de sorte qu’elle utilise le même système de coordonnées que les points de projets d’investissement reprojetés.
- Sur la zone d’affichage, sélectionnez un des éléments Project geometry (Projeter la géométrie).
- Appuyez sur les touches Ctrl + C pour copier l’élément.
- Appuyez sur Ctrl + V pour coller l’élément sur la zone d’affichage.
- Placez l’élément Project geometry (Projeter la géométrie) à droite de l’élément Feature layer (Couche d’entités).
- Cliquez sur le port en sortie de l’élément Feature layer (Couche d’entités) et faites-le glisser vers le port en entrée de l’élément Project geometry (Projeter la géométrie).
Les deux éléments sont connectés. À présent, le jeu de données des districts de la communauté utilise le système de coordonnées qui convient.
Joindre spatialement les projets d’investissement et les districts de la communauté
Une fois que le jeu de données relatif aux districts de la communauté a été projeté, vous allez effectuer une deuxième jointure spatiale pour déterminer le district de la communauté auquel est rattaché chaque projet d’investissement.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils). Dans la fenêtre Tools (Outils), sous Integrate (Intégrer), cliquez sur Join (Joindre).
L’élément Join (Joindre) est ajouté à la zone d’affichage.
- Placez l’élément Join (Joindre) à droite des premiers éléments Join (Joindre) et Project geometry (Projeter la géométrie).
Vous allez maintenant connecter les premiers éléments Join (Joindre) et Project geometry (Projeter la géométrie) au deuxième élément Join (Joindre). Le premier élément Join (Joindre) désigne le paramètre du jeu de données cible et l’élément Project geometry (Projeter la géométrie) correspond au paramètre du jeu de données de jointure.
- Cliquez sur le port en sortie du premier élément Join (Joindre) et faites-le glisser vers le port supérieur en entrée du deuxième élément Join (Joindre). Cliquez sur le port en sortie de l’élément Project geometry (Projeter la géométrie) et faites-le glisser vers le port inférieur en entrée du deuxième élément Join (Joindre).
Vous allez ensuite définir le deuxième élément Join (Joindre) pour utiliser une relation spatiale.
- Dans la fenêtre Join (Joindre), sous Spatial relationship (Relation spatiale), activez Use spatial relationship (Utilliser une relation spatiale).
- Pour Spatial relationship (Relation spatiale), choisissez Intersects (Intersecte).
- Cliquez sur Preview (Aperçu).
La fenêtre d’aperçu apparaît.
- Dans l’aperçu de la table, faites défiler l’affichage jusqu’à la fin de la table.
Les premiers champs que vous voyez proviennent du jeu de données des projets d’investissement. Les champs que vous voyez ensuite sont issus du jeu de données relatif aux quartiers. Pour finir, à la fin de la table, les champs sont ceux du jeu de données des districts de la communauté. Désormais, chaque projet d’investissement comporte des informations sur le district de la communauté sur lequel il porte.
- Fermez la fenêtre d’aperçu.
Comme il existe un autre élément Join (Joindre) sur la zone d’affichage, vous allez renommer le deuxième élément Join (Joindre) pour plus de clarté.
- Renommez le deuxième élément Join (Joindre) en Community District Join (Jointure de district de la communauté). Redimensionnez l’élément de sorte que son nom complet soit visible.
- Enregistrez le pipeline de données.
Dans ce module, vous avez ajouté deux couches surfaciques publiques avec l’attribution que vous vouliez ajouter au jeu de données des projets d’investissement. Un jeu de données est un GeoJSON provenant du site NYC OpenData et l’autre est une couche d’entités d’ArcGIS Online. Vous avez ensuite projeté les deux jeux de données et les avez joints spatialement au jeu de données des projets d’investissement.
Nettoyer les données
Après avoir ajouté des données et les avoir jointes spatialement, vous disposez de tous les attributs demandés par les parties prenantes des différents services. Toutefois, il existe un grand nombre d’autres champs qui sont inutiles et gênent l’utilisation de la table attributaire. Par ailleurs, certains champs demandés portent des noms difficiles à interpréter.
Vous allez nettoyer les attributs avant de consigner les résultats dans un jeu de données en sortie.
Sélectionner des champs
Pour commencer, vous allez sélectionner uniquement les champs qui présentent un intérêt pour les parties prenantes. Il s’agit de plusieurs champs issus du jeu de données des projets d’investissement : le champ Time_Elapsed que vous avez calculé, le champ ntaname et le champ COMMDIST.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils). Dans la fenêtre Tools (Outils), sous Clean (Nettoyer), cliquez sur Select fields (Sélectionner des champs).
L’élément Select fields (Sélectionner des champs) est ajouté à la zone d’affichage.
- Placez l’élément Select fields (Sélectionner des champs) à droite du deuxième élément Join (Joindre).
Vous allez ensuite connecter les éléments Join (Joindre) et Select field (Sélectionner des champs).
- Cliquez sur le port en sortie de l’élément Join (Joindre) et faites-le glisser vers le port en entrée de l’élément Select field (Sélectionner des champs).
Vous allez maintenant sélectionner les champs que vous voulez que le jeu de données en sortie comporte.
- Dans la fenêtre Select field (Sélectionner des champs), sous Fields (Champs), cliquez sur Field (Champ).
La fenêtre Select fields (Sélectionner des champs) s’ouvre. Vous allez sélectionner les champs qui présentent un intérêt pour les parties prenantes. Vous allez également choisir le champ GEOMETRY. Ce champ est nécessaire pour que vous puissiez afficher un jeu de données en sortie sous forme de points. Sans ce champ, la sortie serait une couche d’entités ou une table hébergée non spatiale.
- Dans la fenêtre Select fields (Sélectionner des champs), sélectionnez sur les champs suivants :
- fmsid
- currentphase
- GEOMETRY
- Elapsed_Time
- ntaname
- COMMDIST
- Cliquez sur Done (Terminé).
- Dans la fenêtre Select fields (Sélectionner des champs), cliquez sur Preview (Aperçu).
La fenêtre d’aperçu apparaît.
Au lieu d’un nombre excessif de champs, le jeu de données en sortie ne contiendra que les six champs demandés par les parties prenantes.
- Cliquez sur le bouton Map preview (Aperçu de la carte).
Comme vous avez inclus le champ GEOMETRY dans les champs sélectionnés, une carte des points associés aux projets d’investissement est visible.
- Fermez la fenêtre d’aperçu.
Mettre à jour les champs
Maintenant que vous disposez des champs qui intéressent les parties prenantes, vous allez changer le nom de certains d’entre eux pour les rendre plus lisibles.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Tools (Outils). Dans la fenêtre Tools (Outils), sous Clean (Nettoyer), cliquez sur Update fields (Mettre à jour des champs).
L’élément Update fields (Mettre à jour des champs) est ajouté à la zone d’affichage.
- Placez l’élément Update fields (Mettre à jour des champs) à droite de l’élément Select fields (Sélectionner des champs).
Vous allez ensuite connecter les éléments Select field (Sélectionner des champs) et l’élément Update fields (Mettre à jour des champs).
- Cliquez sur le port en sortie de l’élément Select field (Sélectionner des champs) et faites-le glisser vers le port en entrée de l’élément Update fields (Mettre à jour des champs).
Vous allez maintenant sélectionner les champs à mettre à jour et les configurer. Lors de la mise à jour des champs, vous pouvez mettre à jour leur nom et le type des champs. Vous allez mettre à jour trois noms de champ.
Le premier champ que vous allez mettre à jour est fmsid. Ce champ a pour origine le jeu de données Capital Project Tracker et contient un numéro d’identification de projet.
- Dans la fenêtre Update fields (Mettre à jour des champs), sous Updates (Mises à jour), pour Field to update (Champ à mettre à jour), choisissez fmsid.
Vous allez ensuite attribuer un nom mis à jour à ce champ.
- Dans New field name (Nouveau nom du champ), saisissez Project_ID.
Remarque :
Comme pour l’outil Calculate field (Calculer un champ), les noms de champ ne peuvent pas contenir de caractères spéciaux, tels que des espaces.
Le premier champ a été mis à jour. Vous allez définir deux champs supplémentaires, à savoir ntaname et COMMDIST.
Remarque :
Si vous vouliez changer le type d’un champ (et remplacer une chaîne par un entier, par exemple), vous pourriez le faire en utilisant le paramètre New field type (Nouveau type de champ).
- Cliquez sur Add (Ajouter).
- Dans Field to update (Champ à mettre à jour), choisissez ntaname. Dans New field name (Nouveau nom du champ), saisissez Neighborhood (Quartier).
- Cliquez sur Add (Ajouter).
- Dans Field to update (Champ à mettre à jour), choisissez COMMDIST. Dans New field name (Nouveau nom du champ), saisissez Community (Communauté).
- Cliquez sur Preview (Aperçu).
Dans l’aperçu de la table, les en-têtes de colonne ont été mis à jour. Les en-têtes des champs de la table sont plus évocateurs pour les parties prenantes
- Fermez la fenêtre d’aperçu.
Créer une couche d’entités en sortie
Jusqu’ici, le pipeline de données ingère et transforme les données. Dans la dernière étape, ces données seront chargées dans une couche d’entités.
- Sur la barre d’outils Editor (Éditeur), cliquez sur Outputs (Sorties). Dans la fenêtre Outputs (Sorties), sous ArcGIS, choisissez Feature layer (Couche d’entités).
L’élément Feature layer (Couche d’entités) est ajouté au canevas.
- Placez l’élément Feature layer (Couche d’entités) à droite de l’élément Update fields (Mettre à jour des champs).
Vous allez ensuite connecter les éléments Update fields (Mettre à jour des champs) et Feature layer (Couche d’entités).
- Cliquez sur le port en sortie de l’élément Update fields (Mettre à jour des champs) et faites-le glisser vers le port en entrée de l’élément Feature layer (Couche d’entités).
Vous allez maintenant configurer les paramètres en sortie de la couche d’entités sur le point d’être créée. Avec ArcGIS Data Pipelines, il est également possible de remplacer une couche d’entités existante ou bien d’ajouter et de mettre les entités dans une couche d’entités existante.
- Dans la fenêtre Feature layer (Couche d’entités), sous Output settings (Paramètres en sortie), assurez-vous que le paramètre Output method (Méthode de sortie) est défini sur Create (Créer).
Vous allez maintenant donner un nom à la couche d’entités.
- Pour Output name (Nom en sortie), saisissez DPR Capital Projects (Projets d’investissement DPR).
- Cliquez sur Preview (Aperçu).
Les éléments qui sont présentés dans la fenêtre d’aperçu sont ceux qui apparaîtront dans la couche d’entités après avoir exécuté le pipeline de données.
- Fermez la fenêtre d’aperçu.
- Redimensionnez l’élément Feature layer (Couche d’entités) de sorte que le nom complet soit visible.
Votre pipeline de données est terminé.
Si les éléments du pipeline de données sont mal organisés, le bouton Auto layout diagram (Mise en page automatique du diagramme) permet de repositionner les éléments pour mieux voir les entrées, les outils et les sorties.
- Dans la barre d’actions Canvas (Zone d’affichage), cliquez sur Auto Layout Diagram (Mise en page automatique du diagramme).
Les éléments de la zone d’affichage sont repositionnés.
- Enregistrez le pipeline de données.
Dans ce module, vous avez nettoyé les données créées à partir des jointures spatiales précédentes. Vous avez supprimé les champs superflus et renommé les champs dont les noms n’étaient pas intuitifs. Enfin, vous avez défini le pipeline de données pour qu’il écrive le jeu de données en sortie dans une couche d’entités dans votre organisation ArcGIS Online.
Examiner les résultats
Vous allez exécuter le pipeline de données que vous avez créé et examiné les résultats obtenus. Vous configurerez ensuite le pipeline de données pour qu’il soit exécuté selon une planification automatique afin de tenir les informations à jour dans ArcGIS Online.
Exécuter le pipeline de données
Maintenant que votre pipeline de données est terminé, vous allez l’exécuter pour créer une couche d’entités.
- Dans la barre d’actions Canvas (Zone d’affichage), cliquez sur Run (Exécuter).
La fenêtre Latest run details (Détails de la dernière exécution) s’ouvre et affiche l’onglet Run details (Détails de l’exécution). Cette fenêtre donne des informations à mesure que le pipeline de données s’exécute. Elle affiche les éventuels messages d’avertissement ou erreurs qui surviennent au cours du traitement.
Une fois le pipeline de données exécuté, vous allez examiner les résultats obtenus. Le traitement dure une minute environ.
- Dans la fenêtre Latest run details (Détails de la dernière exécution), cliquez sur l’onglet Output results (Résultats en sortie).
Cet onglet dresse la liste des sorties créées par le pipeline de données. La couche d’entités DPR Capital Projects (Projets d’investissement DPR) figure dans la liste.
Vous allez maintenant examiner les détails de l’élément de la couche d’entités et partager la couche d’entités avec votre organisation.
- Dans la couche d’entités Capital Projects (Projets d’investissement DPR), cliquez sur Options et choisissez View details (Afficher les détails).
La page des détails de l’élément DPR Capital Projects (Projets d’investissement DPR) s’ouvre dans un onglet du navigateur.
Cette page donne des informations sur la couche d’entités créée par le pipeline de données. Vous allez maintenant partager les résultats dans votre organisation.
- Cliquez sur le bouton Partager.
La fenêtre Partager s’affiche.
- Dans la fenêtre Share (Partager), pour Set sharing level (Définir le niveau de partage), choisissez Organization (Organisation).
- Cliquez sur Save (Enregistrer).
La couche d’entités Capital Projects (Projets d’investissement DPR) est maintenant partagée avec votre organisation pour que les autres membres puissent y accéder. Lorsque le pipeline de données s’exécute, il met à jour cette couche d’entités pour toute personne qui l’ajoute aux cartes ou aux applications.
Remarque :
Lorsque vous créez un pipeline de données, il est stocké en tant qu’élément sous votre compte ArcGIS Online. Il est inutile que cet élément soit partagé avec votre organisation pour que les utilisateurs puissent accéder à une couche d’entités en sortie du pipeline de données.
Vous allez ensuite afficher les résultats sur une carte.
- Cliquez sur Open in Map Viewer (Ouvrir dans Map Viewer).
Une carte apparaît et la couche d’entités DPR Capital Projects (Projets d’investissement DPR) est ajoutée.
- Cliquez sur l’un des points.
Une fenêtre contextuelle s’affiche, répertoriant les attributs que vous avez spécifiés dans le pipeline de données.
Ce jeu de données est disponible en vue de la définition de la symbologie, de l’analyse et de la configuration supplémentaire des applications et cartes Web des parties prenantes.
Mettre à jour le pipeline de données
Le pipeline de données a été exécuté et vous disposez à présent d’une couche d’entités représentant les projets d’investissement DPR. Néanmoins, les données source sont régulièrement mises à jour et les parties prenantes du projet souhaitent que leurs applications et cartes Web reflètent les informations les plus récentes. Vous allez mettre à jour l’élément Feature layer (Couche d’entités) en sortie pour remplacer la couche d’entités DPR Capital Projects (Projets d’investissement DPR) à chaque exécution future du pipeline de données.
Remarque :
Si le Data Pipelines de votre organisation doit être exécuté une seule fois, la mise à jour de l’élément Feature layer (Couche d’entités) est inutile.
- Dans l’éditeur Data Pipelines, fermez la fenêtre Latest run details (Détails de la dernière exécution).
- Sur la zone d’affichage, cliquez sur l’élément Feature layer (Couche d’entité) représentant votre couche d’entités en sortie.
- Dans la fenêtre Feature layer (Couche d’entités), sous Output settings (Paramètres en sortie), redéfinissez Output method (Méthode de sortie) sur Replace (Remplacer).
Le paramètre Feature layer (Couche d’entités) apparaît. Ce paramètre indique au pipeline de données la couche d’entités de votre organisation qu’il doit remplacer lors de son exécution ultérieure.
- Dans Feature layer (Couche d’entités), cliquez sur Select layer (Sélectionner une couche).
La fenêtre Select a feature layer (Sélectionner une couche d’entités) s’ouvre. Vous allez sélectionner la couche d’entités que vous voulez remplacer.
Attention :
Soyez prudent lorsque vous sélectionnez une couche d’entités à remplacer. Si vous choisissez une couche d’entités incorrecte, les données seraient irrémédiablement perdues.
- Recherchez la couche d’entités DPR Capital Projects (Projets d’investissement DPR). Cliquez sur Select layer (Sélectionner une couche), et choisissez DPR Capital Projects (Projets d’investissement DPR).
- Cliquez sur Confirm (Confirmer).
Désormais, lorsque le pipeline de données s’exécute à nouveau, il remplace la couche d’entités existante et évite ainsi toute erreur.
- Enregistrez le pipeline de données.
Planifier le pipeline de données
Comme les jeux de données en entrée sous susceptibles d’être modifiés, vous allez planifier à l’avenir une exécution automatique du pipeline de données.
- Cliquez sur ArcGIS Data Pipelines.
- Cliquez sur Manage scheduling (Gérer la planification).
Vous allez ensuite créer une tâche. Une tâche permet de contrôler la fréquence à laquelle le pipeline de données est exécuté.
- Cliquez sur Create task (Créer une tâche).
La fenêtre Create task (Créer une tâche) apparaît. Ici, vous allez choisir le pipeline de données que vous avez créé.
- Sélectionnez Capital Projects Data Pipeline (Pipeline de données des projets d’investissement).
- Cliquez sur Next (Suivant).
Vous allez planifier une exécution automatique du pipeline de données de sorte que la couche d’entités cible contienne les informations les plus récentes. La planification de l’exécution d’un pipeline de données consomme des crédits tout comme l’utilisation de l’éditeur. Dans le cadre de ce didacticiel, vous allez exécuter une seule fois ce pipeline de données pour économiser les crédits. Néanmoins, dans un environnement de production, vous définiriez cette tâche pour qu’elle ait lieu tous les mois, tous les jours ou encore plus souvent selon la fréquence de la mise à jour des jeux de données en entrée.
Pour commencer, vous allez donner un nom à la tâche.
- Dans Title (Titre), saisissez DPR Capital Projects (Projets d’investissement DPR).
Vous allez définir l’exécution du pipeline de données pour qu’elle se produise toutes les 15 minutes.
- Dans Repeat type (Type de répétition), choisissez Minute. Dans Repeat interval (Intervalle de répétition), laissez la valeur par défaut 15 minutes.
Vous allez ensuite vous assurer que le pipeline de données s’exécute une fois.
- Dans End (Fin), choisissez After number of runs (Après un nombre donné d’exécutions). Dans Number of runs (Nombre d’exécutions), saisissez 1.
Remarque :
Pour en savoir plus sur la planification des tâches, reportez-vous à la rubrique Planifier une tâche de pipeline de données.
- Cliquez sur Save (Enregistrer).
La tâche est visible et indique la date à laquelle elle va prochainement être exécutée.
Remarque :
Si vous voulez modifier, suspendre ou supprimer une tâche, cliquez sur le bouton Options à la toute fin de la table. Vous pouvez également cliquer sur le lien pour afficher ou modifier le pipeline de données.
Une fois la tâche exécutée, l’historique de son exécution s’affiche.
- Cliquez sur DPR Capital Projects Update (Mettre à jour Projets d’investissement DPR).
La fenêtre Task runs (Exécutions des tâches) affiche la tâche et le statut des exécutions effectuées. Une coche verte indique que l’exécution a été menée à bien. Un hexagone rouge indique que l’exécution a échoué.
Sous Output results (Résultats en sortie), une vue d’ensemble des résultats du pipeline de données apparaît.
Dans ce didacticiel, vous avez créé un pipeline de données pour intégrer les données de différentes sources dynamiques, ajouté des attributs supplémentaires, supprimé des attribués superflus, renommé des champs et écrits les résultats dans une couche d’entités. Vous avez également défini l’exécution du pipeline de données selon une planification automatique. Grâce à la configuration d’un pipeline de données, vous faites fi du processus fastidieux de manipulation manuelle des données et de mise à jour des couches d’entités chaque fois qu’une mise à jour des données source est disponible.
Vous trouverez d’autres didacticiels dans la bibliothèque des didacticiels.