Introducción a ArcGIS Data Pipelines

El Departamento de Parques y Actividades Recreativas (DPR) de la ciudad de Nueva York mantiene una base de datos de proyectos de mejora de capital en forma de tabla .csv. Sin embargo, a otros departamentos de la ciudad les gustaría conocer información adicional sobre cada proyecto de capital, como la antigüedad de cada proyecto desde su diseño inicial o en qué barrio se encuentra cada proyecto de capital.

En el pasado, agregar información adicional a esta lista de proyectos de parques ha sido un proceso manual que ha llevado mucho tiempo. En concreto, implica:

• Consulta de proyectos en fase de construcción
• Proyección de datos a un sistema de coordenadas adecuado para la ciudad de Nueva York
• Calcular el tiempo transcurrido desde el diseño inicial del proyecto
• Determinar en qué zona de tabulación de barrios se encuadra el proyecto
• Determinar a qué distrito comunitario pertenece cada proyecto
• Eliminación de numerosos atributos que no son necesarios para las partes interesadas
• Cambiar el nombre a tres campos de atributos cuyos nombres actuales son vagos y poco intuitivos

Para automatizar este flujo de trabajo y mantener sus datos actualizados, utilizará ArcGIS Data Pipelines para extraer información del sitio web OpenData de la ciudad de Nueva York, cargarla en ArcGIS Online y transformarla agregando los atributos solicitados. Por último, hará que esta canalización de datos se ejecute de acuerdo con una planificación para mantener actualizada su lista de proyectos de capital.

Este tutorial se probó por última vez el 7 de junio de 2024.

Requisitos

• Cuenta de organización de ArcGIS con un rol de publicador o administrador
• 52 créditos aproximadamente

Construir una canalización de datos

Para crear el dataset final solicitado por las partes interesadas, su canalización de datos necesita transformar los datos habilitando la localización, eliminando atributos innecesarios y calculando nuevos campos.

Agregará la tabla inicial que contiene información sobre los proyectos de capital, filtrará el dataset, creará su geometría utilizando coordenadas, reproyectará los datos y calculará un campo.

Crear una canalización de datos

En primer lugar, iniciará sesión en ArcGIS Online y crearás una canalización de datos vacía.

1. Inicie sesión en su cuenta de la organización de ArcGIS.

   Nota:

   Si no tiene una cuenta de organización, consulte las opciones de acceso a software.

2. En la cinta, haga clic en el botón Selector de aplicaciones. Seleccione Data Pipelines.

   

   Se abre una pestaña del navegador con una galería que muestra las canalizaciones de datos existentes que posee.

3. Haga clic en Crear canalización de datos.

   

   Aparece el Editor de Data Pipelines. Este entorno de edición permite agregar entradas de datos, proporciona acceso a herramientas para transformar datos y permite escribir los datos procesados en una capa de entidades.

   

   Mientras esté trabajando activamente en el Editor de Data Pipelines, estará conectado a un recurso informático, tal y como se indica en el cuadro de diálogo Detalles de la conexión.

   

   Nota:

   Utilizar ArcGIS Data Pipelines consume créditos. Los créditos se utilizan mientras el estado de la página del editor es Conectado. Para obtener más información sobre el consumo y ArcGIS Data Pipelines, consulte ¿Data Pipelines consume créditos? y Recursos informáticos.

Agregar una tabla CSV como entrada

Ahora que tienes abierto el Editor de Data Pipelines, agregará su primer dataset de entrada. Esta es la tabla de proyectos de capital del DPR. Dado que esta tabla se actualiza con frecuencia, una tabla exportada quedaría rápidamente desfasada. Por lo tanto, accederá a la tabla .csv directamente desde su fuente.

1. Abra la página New York City OpenData (NYC OpenData) para el dataset Capital Project Tracker.

   Se abre una pestaña del navegador con una visión general del dataset del Capital Project Tracker. Esto proporciona información valiosa, como la frecuencia con la que se actualiza el dataset, cuándo se actualizó por última vez y una descripción de cada columna de la tabla .csv.

   

2. Haga clic en el botón Exportar.

   

   Aparece la ventana Exportar dataset.

3. En la ventana Exportar dataset, haga clic en Extremo de la API.

   

   Nota:

   El número de filas que se ve en este dataset y en otros datasets a lo largo de este tutorial puede variar ligeramente de las imágenes facilitadas debido a los cambios en este dataset con el tiempo.

   El punto final de la API permite acceder al dataset a través de una URL.

   Aparece una advertencia. Indica que, de forma predeterminada, solo podrá acceder a 1000 filas de este dataset que tiene 2542 filas. Más adelante, aumentará este límite a 3000 filas.

   

   Si bien Data Pipelines acepta formatos de datos JSON, cambiará el formato de los datos a .csv.

4. En Formato de datos, elija CSV.

   

   A continuación, copiará la URL de este dataset.

5. Haga clic en Copiar imagen al portapapeles.

   

   Ahora, agregará esta tabla .csv a su canalización de datos como una entrada de URL pública.

6. En la barra de herramientas del Editor, haga clic en Entradas. En el panel Entradas, en Archivo, seleccione URL pública.

   

   Nota:

   Para ver los nombres de los botones de la barra de herramientas del Editor, haga clic en el botón Expandir situado en la parte inferior de la barra de herramientas.

   Aparecerá la ventana Agregar una URL.

7. Haga clic en el cuadro de texto URL y pulse Ctrl + V para pegar la URL que copió del sitio web NYC OpenData.

   

   El parámetro Formato de datos se selecciona automáticamente.

   Esta URL tiene un límite de 1000 filas del dataset de origen. Para superar esta limitación, agregará un parámetro URL a la URL existente para aumentar su límite a 3000 filas. Está aumentando el límite a 3000 filas porque la tabla tiene 2542 filas. Un límite de 3000 filas es suficiente para acomodar el tamaño actual del dataset y permitir que crezca en el futuro.

8. Haga clic una vez al final de la URL que ha pegado. Tipo ?$limit=3000.

   

   La primera entrada está completa.

9. Haga clic en Agregar.

   El elemento URL pública se agrega al lienzo.

   

   El nombre del elemento se deriva del nombre del .csv al que ha accedido. A continuación le cambiará el nombre.

10. En la barra de acciones Elemento, haga clic en el botón Renombrar.

    

11. En el cuadro de texto, borre cualquier texto y escriba Capital Project Tracker y pulse Intro. Expanda el elemento para que el nombre sea visible.

    

    Como el elemento está seleccionado en el lienzo, se abre el panel URL pública. Aquí puede configurar o reconfigurar cualquier elemento seleccionado en el lienzo.

    

    Ahora, previsualizará el dataset que ha agregado.

12. En el panel URL pública, haga clic en Vista previa.

    

    Aparece la ventana Vista previa. Actualmente, muestra la vista previa de la tabla. Al previsualizar sus datos, sabrá qué aspecto tendrán cuando ejecute la canalización de datos.

    Nota:

    También puede previsualizar los datos haciendo clic en el botón Vista previa de la barra de acciones de un elemento.

    La parte superior de la tabla indica que el número de registros es de 2554. Es posible que no coincida con el número de filas del sitio web de OpenData. Si los números no coinciden, es porque algunos de los registros contienen un carácter que hace que el registro tenga varias líneas. Puede contabilizarlo en el panel URL pública.

    

13. En el panel URL pública, active Tiene datos de varias líneas.

    

14. Haga clic en Vista previa.

    La vista previa se refresca. Ahora, el número de registros es de 2542.

    

15. Desplácese por la tabla para observar los datos facilitados por NYC OpenData.
16. Haga clic en el botón Vista previa del mapa.

    

    Dado que solo se trata de una tabla y no se ha definido ninguna geometría, no está disponible una vista previa del mapa. Ofrecerá una vista previa del mapa en una sección posterior.

17. Haga clic en el botón Esquema.

    

    Enumera todos los campos del dataset y sus tipos. A lo largo del resto del tutorial, utilizará varios de estos campos para transformar sus datos, incluidos fase actual, inicio del diseño, latitud y longitud.

    

18. Haga clic en el botón Mensajes.

    

    Si hubiera advertencias o errores en su dataset de vista previa, se enumerarían aquí.

19. Cierre la ventana de vista previa.

Filtrar datos por atributo

Ahora que ha agregado la tabla .csv a la canalización de datos, utilizará un elemento de herramienta para filtrar el dataset de modo que solo muestre los proyectos de capital cuya fase actual sea construcción y tengan valores incorrectos de latitud y longitud.

1. En la barra de herramientas del Editor, haga clic en Herramientas.

   

   Aparece el panel Herramientas. Las herramientas enumeradas, por categoría, le permiten manipular los datasets de su canalización de datos. Agregará la herramienta Filtrar por atributos para eliminar cualquier fila cuya fase actual no sea construcción. También filtrará las filas que tengan un valor de latitud o longitud igual a 0.

2. En el panel Herramientas, en Limpiar, haga clic en Filtrar por atributos.

   

   Se agrega un elemento al lienzo. Debe conectarse a un elemento existente que contenga datos. A continuación, es necesario configurarlo.

3. Desplace el elemento Filtrar por atributos a la derecha del elemento URL pública.

   

4. En el panel Filtrar por atributo, en Datasets de entrada, haga clic en Dataset. En la ventana Seleccionar dataset, elija Capital Project Tracker.

   

   Ambos elementos están conectados. Los datos pasarán del archivo .csv a la herramienta Filtrar por atributos cuando se ejecute la canalización de datos.

   

   Nota:

   También puede conectar elementos en una canalización de datos arrastrando el puntero desde el puerto de salida de un elemento al puerto de entrada de otro elemento.

   A continuación, configurará el filtro para excluir cualquier registro que tenga un valor de 0 para la latitud o la longitud y solo mostrará aquellas filas que tengan un valor de fase actual de construcción.

5. En el panel Filtrar por atributos, haga clic en Crear consulta nueva.

   

   Aparece la ventana Generador de consultas.

6. Asegúrese de que Expresión está seleccionado y haga clic en Siguiente.

   

7. Para la primera expresión, defina el campo como latitud y el operador como no es igual a. En el valor, escriba 0.

   

8. Haga clic en el botón Expresión.

   

9. Escriba una segunda expresión en la que la longitud no es igual a 0.

   

10. Agregue otra expresión y haga que consulte las filas en las que la fase actual es igual a construcción.

    Nota:

    En el valor, puede utilizar la lista desplegable para seleccionar un valor en lugar de escribirlo.

    

11. Haga clic en Agregar.

    A continuación, previsualizará los resultados.

12. En el panel Filtrar por atributos, haga clic en Vista previa.

    Aparece la ventana de vista previa. Debajo del título de esta tabla hay un recuento del número de registros. Anteriormente, superaba los 2500 registros. Ahora, debido a los filtros que ha aplicado, es inferior a 200.

13. Desplácese por la tabla y observe los valores de los campos latitud, longitud y fase actual.

    Estos valores cumplen los criterios de su consulta.

14. Cierre la ventana de vista previa.

    Cuando se agregó el elemento de herramienta al lienzo, se le dio el nombre por defecto de Filtrar por atributos. Le cambiará el nombre para que sea más significativo.

15. En la barra de acciones Elemento, haga clic en Cambiar nombre y escriba Filtrar para fase de construcción. Redimensione el elemento para que el nombre sea visible.

    

    Antes de agregar elementos adicionales, guardará su canalización de datos.

16. En la barra de herramientas Editor, haga clic en Guardar y abrir y elija Guardar como.

    

    Aparece la ventana Guardar canalización de datos.

17. En Título, escriba Capital Projects Data Pipeline.

    

18. Haga clic en Guardar.

    Se ha guardado la canalización de datos.

Crear geometría de puntos

A continuación, utilizará las columnas de latitud y longitud del dataset filtrado para dotar a este dataset de una geometría visible en un mapa.

1. En la barra de herramientas del Editor, haga clic en Herramientas. En el panel Herramientas, en Construir, haga clic en Crear geometría.

   El elemento Crear geometría se agrega al lienzo.

2. Desplace el elemento Crear geometría a la derecha del elemento Filtrar por atributos.

   

3. Haga clic y arrastre desde el puerto de salida del elemento Filtrar por atributos hasta el puerto de entrada del elemento Crear geometría.

   

   Ambos elementos están conectados. A continuación, configurará el elemento Crear geometría. Como esta tabla contiene valores de latitud y longitud, puede crear una geometría de puntos.

4. En el panel Crear geometría, en Tipo de geometría, seleccione Punto. En Formato de geometría, elija XYZ.

   

   Aparecen parámetros adicionales. Estos parámetros se utilizan para determinar qué campos de la tabla contienen valores X, Y y Z. Su dataset no tiene valores Z, por tanto, este parámetro no se utilizará.

5. En el Campo X, elija la longitud. En el Campo Y, elija la latitud.

   

6. Haga clic en Vista previa.
7. En la ventana de vista previa, haga clic en el botón Vista previa del mapa.

   Las ubicaciones del proyecto de capital son visibles en el mapa. Puede hacer clic en las entidades para ver sus atributos en una ventana emergente.

   

8. Cierre la ventana de vista previa.

Datos de puntos del proyecto

Sus puntos se crearon con valores de latitud y longitud utilizando el WGS 1984 Geographic Coordinate System. Este no es un sistema de coordenadas ideal para la ciudad de Nueva York. Proyectará sus datos a un sistema de coordenadas más apropiado.

Nota:

Si no está familiarizado con los sistemas de coordenadas, lea Sistemas de coordenadas: ¿Cuál es la diferencia?

1. En la barra de herramientas del Editor, haga clic en Herramientas. En el panel Herramientas, en Formato, haga clic en Geometría del proyecto.

   El elemento Geometría del proyecto se agrega al lienzo.

2. Desplace el elemento Geometría del proyecto a la derecha del elemento Crear geometría.
3. Haga clic y arrastre desde el puerto de salida del elemento Crear geometría hasta el puerto de entrada del elemento Geometría del proyecto.

   

   Ambos elementos están conectados. A continuación, configurará el elemento Geometría del proyecto.

4. En el panel Geometría del proyecto, en Referencia espacial, haga clic en Examinar sistemas de coordenadas.

   

   Para un sistema de coordenadas proyectado, utilizará NAD 1983 (2011) StatePlane New York Long Isl FIPS 3104 (Meters). Su número de Id. es 6538.

5. En la ventana Examinar sistemas de coordenadas, en el cuadro de búsqueda, escriba 6538. Seleccione NAD 1983 (2011) StatePlane New York Long Isl FIPS 3104 (Meters).

   

6. Haga clic en Hecho.

Calcular un campo nuevo

Calculará un nuevo campo como paso final para preparar su dataset de entrada inicial. El dataset contiene el campo inicio del diseño. Esto registra la fecha de inicio de cada proyecto. Calculará un campo adicional que determina el tiempo transcurrido desde el inicio de cada proyecto en años y días.

1. En la barra de herramientas del Editor, haga clic en Herramientas. En el panel Herramientas, en Construir, haga clic en Calcular campo.

   El elemento Calcular campo se agrega al lienzo.

2. Desplace el elemento Calcular campo a la derecha del elemento Geometría del proyecto.
3. Haga clic y arrastre desde el puerto de salida del elemento Geometría del proyecto hasta el puerto de entrada del elemento Calcular campo.

   

   Ambos elementos están conectados. A continuación, configuraremos el elemento Calcular campo. Empezará dando un nombre al nuevo campo.

4. En el panel Calcular campo, en Nuevo nombre de campo, escriba Tiempo_transcurrido.

   

   Nota:

   Los nombres de campo no pueden contener caracteres especiales, como espacios.

   A continuación, elegirá el tipo de campo que debe ser. Dado que este campo contendrá texto y caracteres numéricos, debe ser un campo de cadena de caracteres.

5. En Nuevo tipo de campo, elija Cadena de caracteres.

   

   A continuación, escribirá una expresión para calcularlo. Esta herramienta utiliza expresiones ArcGIS Arcade para calcular los campos.

   Nota:

   Para más información sobre ArcGIS Arcade, consulte Más información sobre ArcGIS Arcade en cuatro simples pasos.

6. En Expresión de Arcade, haga clic en Crear expresión de Arcade.

   

   Aparece la ventana Expresión de Arcade. Aquí puede escribir expresiones de Arcade para calcular los valores de los campos. Va a copiar y pegar un código que devuelve el número de años y días transcurridos desde que se inició el diseño de un proyecto de capital.

   

7. En la ventana Expresión de Arcade, borre el código de muestra.
8. Copie y pegue el siguiente código en la ventana Expresión de Arcade:

   //Convert time between 2 fields to count years and days 
   
   //Determine the total number of days
   var TotalDays = DateDiff(now(), $record.designstart, "days")
   
   //Determine the number of days
   var RemainderDays = Floor(TotalDays % 365)
   
   //Determine the number of years
   var RemainderYears = Floor(DateDiff(now(), $record.designstart, "years"))
   
   //Format the final text to account for year(s) and day(s)
   if(RemainderYears == 1 && RemainderDays == 1){
     return RemainderYears + " year and " + RemainderDays + " day"
   }
   else if (RemainderYears == 1 && RemainderDays != 1){
     return RemainderYears + " year and " + RemainderDays + " days"
   }
   else if (RemainderYears != 1 && RemainderDays == 1){
     return RemainderYears + " years and " + RemainderDays + " day"
   }
   else{
     return RemainderYears + " years and " + RemainderDays + " days"
   }

   

   El formato deseado para este cálculo es X años e Y días. Para ello, la expresión determina primero el número de días transcurridos desde que se inició el diseño de un proyecto de capital. Como el número de días puede ser superior a un año, el código divide el número de días entre 365 y devuelve el valor restante. Devuelve el valor Y en el formato deseado. A continuación, la expresión calcula el número de años transcurridos desde el inicio del proyecto. Este es el valor X en el formato deseado. La última parte de la expresión, a partir de la línea 12, formatea el texto de años y días para hacerlo singular o plural en función del número de días o años transcurridos desde el inicio del diseño.

9. Haga clic en Guardar.

   El campo Tiempo_Transcurrido se agrega a la tabla y se calcula.

10. En el panel Calcular campo, haga clic en Vista previa.
11. En la ventana de vista previa, desplácese hasta el campo Tiempo_Transcurrido.

    

    Para cada proyecto, se registra el número de años y días transcurridos desde su inicio en un formato comprensible.

12. Cierre la ventana de vista previa.

    Cambiará el nombre de este elemento para aclarar el campo que calcula.

13. Cambie el nombre del elemento Calcular campo a Calcular tiempo transcurrido.
14. Expanda el elemento para que su nombre completo sea visible.

    

    Por último, guardará su canalización de datos.

15. En la barra de herramientas Editor, haga clic en Guardar y abrir y elija Guardar.

Hasta ahora, ha agregado una tabla .csv y ha empezado a transformar los datos de los proyectos de capital. También ha filtrado los datos, les ha dado una geometría de puntos mediante coordenadas, los ha reproyectado a un sistema de coordenadas adecuado y ha calculado un campo para proporcionar el tiempo transcurrido desde que se diseñó un proyecto.

Realizar uniones espaciales

En este punto, los datos de los proyectos de capital se han agregado y formateado parcialmente, pero aún es necesario atribuirlos a otros datasets. Para cada proyecto de capital debe determinar a qué zona de tabulación de barrios y distrito comunitario pertenecen. Tanto las áreas de tabulación de barrios como los distritos comunitarios existen como datasets de polígonos a disposición del público. Agregará estos dos datasets a su canalización de datos y utilizará uniones espaciales para agregar los nombres de los barrios y distritos a cada proyecto de capital.

Agregar un GeoJSON como entrada

En primer lugar, agregará el dataset de las áreas de tabulación del barrio a su canalización de datos. Están disponibles en el sitio web NYC OpenData en formato GeoJSON.

1. Abra la página NYC OpenData del dataset 2020 Neighborhood Tabulation Areas (NTAs) - Tabular.

   Se abre una pestaña del navegador con una vista general del dataset 2020 Neighborhood Tabulation Areas (NTAs) - Tabular. Al igual que el dataset Capital Project Tracker, esta página ofrece una vista general del dataset y su frecuencia de actualización.

   

2. Haga clic en el botón Exportar.

   

   Aparece la ventana Exportar dataset. Dado que este dataset contiene menos de 1000 filas, no necesitará cambiar a URL como hizo con el dataset Capital Project Tracker.

3. En la ventana Exportar dataset, haga clic en Extremo de la API.

   

   Nota:

   El número de filas que ve en este dataset puede variar con respecto a la imagen de arriba debido a los cambios que se han producido en este dataset a lo largo del tiempo.

   El formato listado por defecto es JSON; sin embargo, para agregar este dataset a la canalización de datos y crear una geometría de polígonos, tiene más sentido utilizar el formato GeoJSON.

4. En Formato de datos, elija GeoJSON.

   

   A continuación, copiará la URL de este dataset.

5. Haga clic en Copiar imagen al portapapeles.

   Agregará este GeoJSON a su canalización de datos como una entrada de URL pública.

6. En el Editor de Data Pipelines, en la barra de herramientas del Editor, haga clic en Entradas. En el panel Entradas, en Archivo, seleccione URL pública.

   

   Aparecerá la ventana Agregar una URL.

7. En URL, pegue la URL que copió del sitio web NYC OpenData.

   

   El parámetro Formato de datos se selecciona automáticamente.

8. Haga clic en Agregar.

   El elemento URL pública se agrega al lienzo.

   

   Una vez más, el nombre es poco intuitivo. Le cambiará el nombre a este elemento.

9. Cambie el nombre del elemento URL pública a Neighborhood Tabulation Areas.
10. Redimensione el elemento URL pública para que su nombre completo sea visible.
11. Desplace el elemento debajo del elemento Geometría del proyecto.

    

    A continuación, previsualizará el dataset que ha agregado.

12. En el panel URL pública, haga clic en Vista previa.

    

    En la ventana de vista previa, observe los campos proporcionados con este dataset. El campo ntaname es el atributo que agregará a la capa de puntos de proyectos de capital usando una unión espacial.

13. Haga clic en el botón Vista previa del mapa.

    Aparece un mapa con los barrios dibujados como polígonos.

    

14. Cierre la ventana de vista previa.

Datos de polígono del proyecto

Al igual que los puntos del proyecto de capital, el GeoJSON de los barrios utiliza el sistema de coordenadas geográficas WGS 1984. Por lo tanto, agregará otra herramienta de Geometría del proyecto para proyectar los barrios a la misma zona del plano de estado que utilizó para las ubicaciones del proyecto de capital. Para ahorrar tiempo, copiará el elemento Geometría del proyecto existente.

1. En el lienzo, seleccione el elemento Geometría del proyecto.
2. Pulse Ctrl + C para copiar el elemento.
3. Pulse Ctrl + V para pegar el elemento en el lienzo.
4. Desplace el elemento Geometría del proyecto a la derecha del elemento URL pública de Neighborhood Tabulation Areas.

   

5. Haga clic y arrastre desde el puerto de salida del elemento URL pública hasta el puerto de entrada del elemento Geometría del proyecto.

   

   Ambos elementos están conectados. Como ha copiado este elemento, el sistema de coordenadas ya está seleccionado. Ahora, el dataset de los barrios utiliza el sistema de coordenadas adecuado.

Unir espacialmente los proyectos de capital y los barrios

Ahora que ambos datasets utilizan el mismo sistema de coordenadas, agregará una unión espacial a su canalización de datos. Esta unión espacial determinará en qué barrio se encuentra cada punto del proyecto de capital y agregará los atributos del barrio al punto del proyecto de capital.

1. En la barra de herramientas del Editor, haga clic en Herramientas. En el panel Herramientas, en Integrar, haga clic en Unir.

   El elemento Unir se agrega al lienzo.

2. Desplace el elemento Unir a la derecha de los elementos Calcular campo y Geometría del proyecto.

   

   A continuación, conectará los elementos Calcular campo y Geometría del proyecto al elemento Unir. El elemento Unir tiene dos puertos de entrada. El puerto de entrada superior es para el dataset de destino. El dataset de destino es el dataset al que se agregarán atributos adicionales. El puerto de entrada inferior es para el dataset de unión. Este es el dataset que compartirá sus atributos con el dataset de destino. En este caso, desea que los proyectos de capital reciban los atributos del dataset del barrio. Por tanto, el elemento Calcular campo es el dataset de destino y se conectará al puerto de entrada superior.

3. Haga clic y arrastre desde el puerto de salida del elemento Calcular campo hasta el puerto de entrada superior del elemento Unir. Haga clic y arrastre desde el puerto de salida del elemento Geometría del proyecto hasta el puerto de entrada inferior del elemento Unir.

   

   Ambos elementos están conectados al elemento Unir. En el panel Unir, el Dataset destino y Dataset unir se rellenan en función de los elementos que ha vinculado.

   

   A continuación, configurará el elemento Unir para que utilice una relación espacial.

4. En el panel Unir, en Relación espacial, active Usar relación espacial.

   

   Aparecen parámetros adicionales. Los parámetros Geometría de destino y Geometría de unión se completan automáticamente. Sin embargo, todavía tiene que seleccionar una Relación espacial. Esto define cómo se unen los datasets de destino y de unión. Dado que los puntos del proyecto de capital se encuentran dentro de los polígonos de barrio, utilizará la relación Interseca.

5. En Relación espacial, seleccione Interseca.

   

6. Haga clic en Vista previa.

   Aparece la ventana de vista previa. Este dataset sigue representando los puntos del proyecto de capital. En la vista previa de la tabla, los campos que aparecen inicialmente son de los puntos del proyecto de capital.

7. En la vista previa de la tabla, desplácese hasta el final de la tabla para buscar el campo ntaname.

   

   Los campos del final de la tabla son los campos de los barrios. Ahora, para cada proyecto de capital, usted sabe el barrio en el que se inscribe.

   A medida que se realizan más uniones, el número de campos se vuelve complejo, sobre todo porque las partes interesadas no han solicitado muchos de estos campos. Más adelante eliminará los campos de atributo innecesarios.

8. Cierre la ventana de vista previa.

   En la siguiente sección agregará una segunda unión espacial. Para evitar confusiones, cambiará el nombre del primer elemento Unir.

9. Cambia el nombre del elemento Unir a Unión de barrios.

   

Agregar una capa de entidades como entrada

Algunas partes interesadas solicitaron que el resultado final contuviera también información sobre el distrito comunitario en el que se inscribe cada proyecto de capital. Para lograrlo, utilizará otro elemento Unir, pero primero necesitará el dataset de polígonos que contiene los distritos comunitarios. En lugar de utilizar un elemento de entrada URL pública, agregará un elemento de entrada Capa de entidades porque este dataset se encuentra en ArcGIS Online.

1. En la barra de herramientas del Editor, haga clic en Entradas. En el panel de Entradas, en ArcGIS, seleccione Capa de entidades.

   

   Aparece la ventana Seleccionar una capa de entidades. Puede agregar datasets desde varias ubicaciones, como ArcGIS Living Atlas o contenidos que sean de su propiedad en ArcGIS Online.

2. Haga clic en Mi contenido y elija ArcGIS Online.

   

   A continuación, buscará un dataset de acceso público de la ciudad de Nueva York que contenga los distritos comunitarios.

3. En el cuadro de búsqueda, escriba New York City Community District.
4. Desplácese hacia abajo y busque la capa Distrito comunitario propiedad del Propietario de los datos.

   

   Dado que las capas de entidades pueden contener varias subcapas, seleccione la subcapa CommunityDistrict para agregarla a la canalización de datos.

5. En Distrito comunitario, haga clic en Seleccionar capa. Elija CommunityDistrict.

   

6. Haga clic en Agregar.

   Un elemento Capa de entidades se agrega al lienzo.

7. Desplace el elemento Capa de entidades debajo del elemento Geometría del proyecto para el dataset de los barrios.

   

   A continuación, previsualizará el dataset que ha agregado.

8. En el panel Capa de entidades, haga clic en Vista previa.
9. Desplácese por la tabla de la vista previa. Busque el campo COMMDIST.

   

   El campo COMMDIST es el atributo que agregará a la capa de puntos de proyectos de capital usando una unión espacial.

10. Haga clic en el botón Vista previa del mapa.

    Aparece un mapa con los distritos comunitarios dibujados como polígonos.

    

11. Cierre la ventana de vista previa.

Proyectar una capa de entidades

La entidad que ha agregado utiliza el sistema de coordenadas proyectadas Web Mercator (Auxiliary Sphere). Para garantizar la precisión de los datos, proyectará esta capa de entidades de modo que utilice el mismo sistema de coordenadas que los puntos del proyecto de capital reproyectados.

1. En el lienzo, seleccione uno de los elementos Geometría del proyecto.
2. Pulse Ctrl + C para copiar el elemento.
3. Pulse Ctrl + V para pegar el elemento en el lienzo.
4. Desplace el elemento Geometría del proyecto a la derecha del elemento Capa de entidades.
5. Haga clic y arrastre desde el puerto de salida del elemento Capa de entidades hasta el puerto de entrada del elemento Geometría del proyecto.

   

   Ambos elementos están conectados. Ahora, el dataset de los distritos comunitarios utiliza el sistema de coordenadas adecuado.

Unir espacialmente los proyectos de capital y los distritos comunitarios

Ahora que se ha proyectado el dataset de los distritos comunitarios, realizará una segunda unión espacial para determinar a qué distrito comunitario pertenece cada proyecto de capital.

1. En la barra de herramientas del Editor, haga clic en Herramientas. En el panel Herramientas, en Integrar, haga clic en Unir.

   El elemento Unir se agrega al lienzo.

2. Desplace el elemento Unir a la derecha de los primeros elementos Unir y Geometría del proyecto.

   

   A continuación, conectará los primeros elementos Unir y Geometría del proyecto al segundo elemento Unir. El primer elemento Unir será el parámetro del dataset de destino y el elemento Geometría del proyecto será el parámetro del dataset de unión.

3. Haga clic y arrastre desde el puerto de salida del primer elemento Unir hasta el segundo puerto de entrada del elemento superior Unir. Haga clic y arrastre desde el puerto de salida del elemento Geometría del proyecto hasta el puerto de entrada inferior del segundo elemento Unir.

   

   A continuación, configurará el segundo elemento Unir para que utilice una relación espacial.

4. En el panel Unir, en Relación espacial, active Usar relación espacial.
5. En Relación espacial, seleccione Interseca.

   

6. Haga clic en Vista previa.

   Aparece la ventana de vista previa.

7. En la vista previa de la tabla, desplácese hasta el final de la tabla.

   

   Los primeros campos que verá proceden del dataset de proyectos de capital. A continuación, se muestran los campos del dataset del barrio. Por último, al final de la tabla, aparecen los campos del dataset de los distritos comunitarios. Ahora, cada proyecto de capital tiene información sobre el distrito comunitario en el que se inscribe.

8. Cierre la ventana de vista previa.

   Dado que existe otro elemento Unir en el lienzo, cambiará el nombre de este segundo elemento Unir para una mayor claridad.

9. Cambie el nombre del segundo elemento Unir a Unión de distritos comunitarios. Redimensione el elemento para que el nombre completo del elemento sea visible.

   

10. Guarde su canalización de datos.

En este módulo, ha agregado dos capas de polígonos públicos con atribución que quería agregar al dataset de proyectos de capital. Un dataset es un GeoJSON del sitio NYC OpenData, y el otro es una capa de entidades de ArcGIS Online. A continuación, ha proyectado ambos datasets y los ha unido espacialmente al dataset de proyectos de capital.

Limpiar los datos

Tras agregar los datos y unirlos espacialmente, dispondrá de todos los atributos solicitados por las partes interesadas de los distintos departamentos. Sin embargo, hay muchos otros campos que son innecesarios y dificultan la navegación por la tabla de atributos. Además, algunos de los campos solicitados tienen nombres difíciles de interpretar.

A continuación, se limpiarán los atributos antes de escribir los resultados en un dataset de salida.

Seleccionar campos

En primer lugar, seleccionará solo los campos que interesen a sus partes interesadas. Esto incluye varios campos del dataset de proyectos de capital, el campo Tiempo_Transcurrido que calculó, el campo ntaname y el campo COMMDIST.

1. En la barra de herramientas del Editor, haga clic en Herramientas. En el panel Herramientas, en Limpiar, haga clic en Seleccionar campos.

   El elemento Seleciconar campos se agrega al lienzo.

2. Desplace el elemento Seleccionar campos situado a la derecha del segundo elemento Unir.

   

   A continuación, conectará los elementos Unir y Seleccionar campo.

3. Haga clic y arrastre desde el puerto de salida del elemento Unir hasta el puerto de entrada del elemento Seleccionar campos.

   

   A continuación, elegirá los campos que desea que contenga el dataset de salida.

4. En el panel Seleccionar campos, en Campos, haga clic en Campo.

   

   Aparece la ventana Seleccionar campos. Usted elegirá los campos que interesen a sus partes interesadas. También elegirá el campo GEOMETRÍA. Este campo es necesario para poder mostrar el dataset de salida como puntos. De lo contrario, la salida sería una capa de entidades no espaciales o una tabla alojada.

5. En la ventana Seleccionar campos, seleccione los siguientes campos:
   • fmsid
   • fase actual
   • GEOMETRY
   • Tiempo_Transcurrido
   • ntaname
   • COMMDIST

   

6. Haga clic en Hecho.
7. En el panel Seleccionar campos, haga clic en Vista previa.

   Aparece la ventana de vista previa.

   

   En lugar de tener un número inmenso de campos, su dataset de salida solo contendrá estos seis campos que solicitaron las partes interesadas.

8. Haga clic en el botón Vista previa del mapa.

   

   Dado que ha incluido el campo GEOMETRÍA en los campos seleccionados, aparece un mapa de los puntos del proyecto de capital.

9. Cierre la ventana de vista previa.

Actualizar campos

Ahora que ya tiene los campos de interés para sus partes interesadas, cambiará algunos de sus nombres para hacerlos más legibles.

1. En la barra de herramientas del Editor, haga clic en Herramientas. En el panel Herramientas, en Limpiar, haga clic en Actualizar campos.

   El elemento Actualizar campos se agrega al lienzo.

2. Desplace el elemento Actualizar campos situado a la derecha del elemento Seleccionar campos.

   

   A continuación, conectará los elementos Seleccionar campo y Actualizar campo.

3. Haga clic y arrastre desde el puerto de salida del elemento Seleccionar campo hasta el puerto de entrada del elemento Actualizar campos.

   

   A continuación, elegirá los campos que desea actualizar y los configurará. Al actualizar los campos, puede actualizar su nombre y tipo de campo. Actualizará tres de los nombres de los campos.

   El primer campo que actualizará es fmsid. Este campo procede del dataset Capital Project Tracker y contiene un número de identificación del proyecto.

4. En el panel Actualizar campos, en Actualizaciones, en Campo que se va a actualizar, seleccione fmsid.

   

   A continuación, proporcionará un nombre actualizado para este campo.

5. En Nuevo nombre de campo, escriba ID_proyecto.

   

   Nota:

   Al igual que con la herramienta Calcular campo, los nombres de campo no pueden contener caracteres especiales, como espacios.

   Se ha actualizado el primer campo. Actualizará dos campos más, los campos ntaname y COMMDIST.

   Nota:

   Si desea cambiar el tipo de un campo, por ejemplo de cadena de caracteres a entero, puede hacerlo utilizando el parámetro Nuevo tipo de campo.

6. Haga clic en Agregar.

   

7. En Campo que se va a actualizar, seleccione ntaname. En Nuevo nombre de campo, escriba Barrio.

   

8. Haga clic en Agregar.
9. En Campo que se va a actualizar, seleccione COMMDIST. En Nuevo nombre de campo, escriba Comunidad.

   

10. Haga clic en Vista previa.

    En la vista previa de la tabla, se han actualizado los títulos de las columnas. Los encabezamientos de los campos de su tabla son más intuitivos para sus partes interesadas.

    

11. Cierre la ventana de vista previa.

Crear una capa de entidades de salida

Hasta ahora, su canalización de datos consume y transforma sus datos. Como paso final, estos datos se cargarán en una capa de entidades.

1. En la barra de herramientas del Editor, haga clic en Salidas. En el panel de Salidas, en ArcGIS, haga clic en Capa de entidades.

   El elemento Capa de entidades se agrega al lienzo.

2. Desplace el elemento Capa de entidades a la derecha del elemento Actualizar campos.

   

   A continuación, conectará los elementos Actualizar campos y Capa de entidades.

3. Haga clic y arrastre desde el puerto de salida del elemento Actualizar campos hasta el puerto de entrada del elemento Capa de entidades.

   

   A continuación, configure los parámetros de salida para la capa de entidades que se va a crear. ArcGIS Data Pipelines también permite que la salida sustituya una capa de entidades existente o agregue y actualice entidades en una capa de entidades existente.

4. En el panel Capa de entidades, en Ajustes de salida, asegúrese de que el Método de salida está definido en Crear.

   

   A continuación, le dará un nombre a la capa de entidades.

5. En Nombre de salida, escriba DPR Capital Projects.

   

6. Haga clic en Vista previa.

   Lo que ve en la ventana de la vista previa es lo que se escribirá en su capa de entidades cuando ejecute la canalización de datos.

7. Cierre la ventana de vista previa.
8. Redimensione el elemento Capa de entidades para que su nombre completo sea visible.

   

   Su canalización de datos está completa.

   

   Si los elementos de su canalización de datos están desorganizados, el botón Diagrama de diseño automático reposiciona los elementos para ver mejor el flujo de entradas, herramientas y salidas.

9. En la barra de acciones del Lienzo, haga clic en Diagrama de diseño automático.

   

   Los elementos del lienzo se reposicionan.

   

10. Guarde su canalización de datos.

En este módulo, ha limpiado los datos creados a partir de las uniones espaciales anteriores. Ha eliminado campos innecesarios y ha cambiado el nombre a campos cuyos nombres eran poco intuitivos. Por último, defina la canalización de datos para que escriba el dataset de salida en una capa de entidades de su organización ArcGIS Online.

Revisar los resultados

A continuación, ejecutará la canalización de datos que ha creado y explorará los resultados. A continuación, defina la canalización de datos para que se ejecute automáticamente de acuerdo con una planificación para mantener la información actualizada en ArcGIS Online.

Ejecutar la canalización de datos

Ahora que su canalización de datos está completa, la ejecutará para crear una capa de entidades.

1. En la barra de acciones del Lienzo, haga clic en Ejecutar.

   

   Aparece la ventana Detalles de la ejecución más reciente y se abre en la pestaña Detalles de la ejecución. Esta ventana le ofrece información a medida que se ejecuta la canalización de datos. También muestra cualquier advertencia o error que se produzca durante el procesamiento.

   

   Una vez finalizada la canalización de datos, explorará los resultados. El procesamiento tarda aproximadamente un minuto.

2. En la ventana Detalles de la ejecución más reciente, haga clic en la pestaña Resultados de salida.

   

   Esta pestaña enumera las salidas creadas por la canalización de datos. Se enumera la capa de entidades DPR Capital Projects.

   

   A continuación, revisará los detalles de los elementos de su capa de entidades y compartirá la capa de entidades con su organización.

3. En la capa DPR Capital Projects, haga clic en Opciones y seleccione Ver detalles.

   

   Se abrirá una pestaña del navegador en la página de detalles del elemento DPR Capital Projects.

   

   Esta página ofrece información sobre la capa de entidades creada por la canalización de datos. A continuación, compartirá los resultados con su organización.

4. Haga clic en el botón Compartir.

   

   Aparece la ventana Compartir.

5. En la ventana Compartir, en Definir nivel de uso compartido, elija Organización.

   

6. Haga clic en Guardar.

   La capa DPR Capital Projects se comparte ahora con su organización para que otros puedan acceder a ella. Cuando se ejecute la canalización de datos, se actualizará esta capa de entidades para cualquiera que la agregue a los mapas o aplicaciones.

   Nota:

   Cuando crea una canalización de datos, se almacena como un elemento en su cuenta ArcGIS Online. No es necesario compartir este elemento con su organización para que los usuarios puedan acceder a la capa de entidades de salida de una canalización de datos.

   A continuación, verá el resultado en un mapa.

7. Haga clic en Abrir en Map Viewer.

   

   Se abrirá un mapa y se agregará la capa DPR Capital Projects.

   

8. Haga clic en uno de los puntos.

   Aparece una ventana emergente con los atributos especificados en el canal de datos.

   

   Este dataset está disponible para simbolizarlo, analizarlo y configurarlo posteriormente para los mapas web y las aplicaciones de sus partes interesadas.

Actualizar la canalización de datos

Su canalización de datos se ha ejecutado correctamente y ahora dispone de una capa de entidades que representa los DPR Capital Projects. Sin embargo, los datos de origen se actualizan con regularidad y las partes interesadas desean ver reflejada la información más reciente en sus mapas web y aplicaciones. Actualizará el elemento de salida Capa de entidades para reemplazar la capa de entidades DPR Capital Projects cada vez que se ejecute la canalización de datos en el futuro.

Nota:

Si las de su organización Data Pipelines solo se tienen que ejecutar una vez, no es necesario actualizar el elemento Capa de entidades.

1. En el Editor de Data Pipeline, cierre la ventana Detalles de la ejecución más reciente.
2. En el lienzo, haga clic en el elemento Capa de entidades que representa su capa de entidades de salida.
3. En el panel Capa de entidades, en Ajustes de salida, cambie Método de salida a Reemplazar.

   

   Aparece el parámetro Capa de entidades. Este parámetro indica a la canalización de datos qué capa de entidades de su organización debe sustituir cuando la canalización de datos se ejecute en el futuro.

4. En Capa de entidades, haga clic en Seleccionar capa.

   

   Aparece la ventana Seleccionar una capa de entidades. Seleccionará la capa de entidades que desea reemplazar.

   Precaución:

   Tenga cuidado al seleccionar una capa de entidades para reemplazar. Si selecciona la capa de entidades incorrecta, los datos podrían perderse irreversiblemente.

5. Busque la capa de entidades DPR Capital Projects. Haga clic en Seleccionar capa y seleccione DPR Capital Projects.

   

6. Haga clic en Confirmar.

   Ahora, cuando la canalización de datos se ejecute de nuevo en el futuro, sobrescribirá la capa de entidades existente y evitará errores.

7. Guarde la canalización de datos.

Programar la canalización de datos

Dado que los datasets de entrada están sujetos a cambios, programará la canalización de datos para que se ejecute automáticamente en el futuro.

1. Haga clic en ArcGIS Data Pipelines.

   

2. Haga clic en Administrar programación.

   

   Ahora, creará una tarea. Una tarea le permite controlar la frecuencia con la que se ejecuta su canalización de datos.

3. Haga clic en Crear tarea.

   

   Aparece la ventana Crear tarea. Aquí, seleccionará la canalización de datos que ha creado.

4. Seleccione Capital Projects Data Pipeline.

   

5. Haga clic en Siguiente.

   Programará su canalización de datos para que se ejecute automáticamente, lo que le permitirá saturar la capa de entidades de destino con la información más reciente. Programar una canalización de datos para que se ejecute consume créditos, como trabajar en el editor. Dado que se trata de un tutorial, solo ejecutará esta canalización de datos una vez para conservar créditos. Sin embargo, en un entorno de producción, puede configurarlo para que se ejecute mensualmente, diariamente o con mayor frecuencia en función de la frecuencia con la que se actualicen los datasets de entrada.

   En primer lugar, asignará un título a esta tarea.

6. En Título, escriba Actualización de DPR Capital Projects.

   

   Esta canalización de datos se ejecutará cada 15 minutos.

7. En Tipo de repetición, seleccione Minuto. En Intervalo de repetición, deje el valor por defecto en 15 minutos.

   

   A continuación, se asegurará de que la canalización de datos solo se ejecuta una vez.

8. En Fin, seleccione Después de número de ciclos. En Número de ejecuciones, escriba 1.

   

   Nota:

   Para obtener más información sobre la programación de tareas, consulte Programar una tarea de canalización de datos.

9. Haga clic en Guardar.

   La tarea es visible y le informa cuándo se ejecutará la próxima vez.

   

   Nota:

   Si desea editar, pausar o eliminar una tarea, haga clic en el botón Opciones situado en el extremo de la tabla. Además, puede hacer clic en el enlace para ver o editar su canalización de datos.

   Después de que la tarea se ejecute, puede ver el historial de ejecución de la tarea.

10. Haga clic en Actualización de DPR Capital Projects.

    

    El panel Ejecuciones de tareas muestra la tarea y el estado de las ejecuciones completadas. Una marca verde indica que la ejecución se ha realizado correctamente. Un hexágono rojo indica que la ejecución no se ha realizado correctamente.

    

    En Resultados de salida se muestra un resumen de los resultados de la canalización de datos.

    

En este tutorial ha construido una canalización de datos para integrar datos de diversas fuentes dinámicas, ha agregado atributos adicionales, ha eliminado atributos ajenos, ha renombrado campos y ha escrito los resultados en una capa de entidades. También puede configurar la canalización de datos para que se ejecute automáticamente de acuerdo con una programación. Al configurar una canalización de datos, puede omitir el laborioso proceso de manipular manualmente los datos y actualizar las capas de entidades cada vez que se produce una actualización de los datos de origen.

Encontrará más tutoriales en la galería de tutoriales.

Agradecimientos

• El Capital Project Tracker y 2020 Neighborhood Tabulation Areas (NTAs) - Tabular se obtuvieron del sitio NYC OpenData.
• La capa Distritos comunitarios se obtuvo de NYC OpenData a través de ArcGIS Online.
• Lona gris claro, fuentes de mapa: Esri, HERE, Garmin, FAO, NOAA, USGS, colaboradores de OpenStreetMap y la comunidad de usuarios de SIG
• Mapa topográfico mundial, fuentes: Esri, HERE, Garmin, FAO, NOAA, USGS, colaboradores de OpenStreetMap y la comunidad de usuarios de SIG
• Todas las imágenes de Adobe Stock son © 2024 Adobe Stock. Reservados todos los derechos.