Evaluar la precisión de una clasificación de permeabilidad
Realizar una evaluación visual
Para empezar, abrirá el proyecto, explorará las capas que contiene y evaluará de manera informal la precisión de la clasificación inspeccionándola visualmente. Primero, descargará y abrirá el proyecto que contiene la capa de clasificación de permeabilidad y las imágenes de referencia.
Nota:
Aunque podría usar sus propios resultados del tutorial Calcular superficies impermeables a partir de imágenes espectrales, usar datos recién descargados garantizará que lo que ve en la pantalla coincide con los pasos descritos en este tutorial.
- Descargue el archivo Imperviousness_Classified.zip que contiene su proyecto y sus datos.
- Busque el archivo descargado en su equipo.
Nota:
Dependiendo de su navegador web, puede que se le pida que elija la ubicación de archivo antes de iniciar la descarga. La mayoría de los navegadores descargan los archivos de manera predeterminada en la carpeta Descargas del equipo.
- Haga clic con el botón derecho en el archivo, Imperviousness_Classified.zip, y extráigalo en una ubicación que pueda encontrar fácilmente, como su carpeta Documentos.
- Inicie ArcGIS Pro. Si se le pide, inicie sesión en su cuenta de organización con licencia de ArcGIS.
Nota:
Si no tiene acceso a ArcGIS Pro o una cuenta de organización de ArcGIS, consulte las opciones de acceso a software.
- En la Página de inicio, haga clic en Abrir otro proyecto.
- En la ventana Abrir proyecto, vaya a la carpeta extraída, Imperviousness_Classified. Haga clic en Imperviousness_Classified.aprx para seleccionarlo y haga clic en Aceptar.
Se abrirá el proyecto.
A continuación, explorará las capas que contiene el proyecto. La capa superior, Louisville_Impervious, está activada. Es el resultado del proceso de clasificación anterior y muestra las superficies impermeables en gris y las superficies permeables en verde. El mapa base, Mapa topográfico mundial, también está activado y proporciona contexto para las capas del proyecto.
- En el panel Contenido, desactive la casilla de verificación Louisville_Impervious para desactivar la capa. Active la casilla de verificación Louisville_Neighborhood.tif para activar la capa.
Louisville_Neighborhood.tif es una fotografía aérea de 4 bandas y una resolución de 6 pulgadas del área, mostrada en la combinación de bandas Colores naturales (rojo, verde y azul). Significa que tiene un aspecto similar al que vería el ojo humano. La usará como referencia al realizar la evaluación de la precisión.
- En el panel Contenido, desactive Louisville_Neighborhood.tif y active Louisville_Neighborhood_Color_Infrared.
Son las mismas imágenes, mostradas en la combinación de bandas Color infrarrojo (infrarrojo, rojo y verde). Muestra la vegetación resaltada en rojo. También la usará como referencia al realizar la evaluación de la precisión. A continuación, evaluará la precisión de la clasificación de manera informal comparando las capas visualmente.
- En el panel Contenido, desactive Louisville_Neighborhood_Color_Infrared y active Louisville_Impervious y Louisville_Neighborhood.tif. Haga clic en Louisville_Impervious para seleccionarla.
- En la cinta, haga clic en la pestaña Capa ráster. En el grupo Comparar, haga clic en Swipe.
- En el mapa, arrastre el puntero de arriba abajo para mostrar la imagen Louisville_Neighborhood.tif bajo la capa de clasificación Louisville_Impervious. Examine y compare las dos capas.
¿Qué nivel de precisión aparenta la clasificación?
- Si lo desea, también puede utilizar la función swipe entre Louisville_Impervious y Louisville_Neighborhood_Color_Infrared para comparar la clasificación con las imágenes con color infrarrojo.
- En la cinta, haga clic en la pestaña Mapa. En el grupo Navegar, haga clic en la herramienta Explorar para desactivar la herramienta Swipe.
- En la barra de herramientas de acceso rápido, haga clic en el botón Guardar para guardar el proyecto.
Nota:
Puede aparecer un mensaje que le avisa que guardar este archivo de proyecto con la versión actual de ArcGIS Pro le impedirá volver a abrirlo en una versión anterior. Si ve este mensaje, haga clic en Sí para continuar.
Crear puntos de evaluación de exactitud
Comparar de manera informar la capa de clasificación con las imágenes originales resulta útil en cierto modo, pero no proporciona una medición formal de la precisión de clasificación. Dado que las facturas por aguas pluviales se determinarán a partir de su análisis, necesita un proceso de evaluación más riguroso. Para realizar una evaluación formal, creará puntos de evaluación de precisión generados aleatoriamente por toda la imagen. A continuación, comparará el valor de clasificación (permeable o impermeable) en la ubicación de cada punto con el tipo de cobertura de suelo real mostrado en las imágenes originales.
Nota:
El proceso consistente en que una persona verifique visualmente la cobertura de suelo real en una ubicación determinada se denomina comprobación de la realidad del terreno. La evaluación de precisión más rigurosa implicaría que alguien fuera al lugar para verificar la cobertura de suelo en persona, pero, en muchos casos, viajar a la ubicación real resultaría inviable o demasiado costoso. Por lo tanto, examinar las imágenes suele considerarse la siguiente mejor opción para el proceso de comprobación de la realidad del terreno.
- En la cinta, haga clic en la pestaña Análisis. En el grupo Geoprocesamiento, haga clic en Herramientas.
Se abre el panel Geoprocesamiento.
- En el panel Geoprocesamiento, busque Crear puntos de evaluación de precisión.
- En la lista de resultados, haga clic en Crear puntos de evaluación de precisión (de Herramientas de Image Analyst o Herramientas de Spatial Analyst) para abrir la herramienta.
Esta herramienta genera puntos aleatorios a través de una imagen y otorga a los puntos un atributo basado en el valor clasificado de la imagen en la ubicación del punto. Los puntos también tendrán un campo para la realidad del terreno de la imagen original, que rellenará manualmente para cada punto.
- En la herramienta Crear puntos de evaluación de precisión, introduzca los siguientes parámetros:
- Para Datos de clase de entidad o ráster de entrada, seleccione la capa Louisville_Impervious.
- Para Puntos de evaluación de precisión de salida, haga clic en el botón Examinar. En la ventana que aparece, vaya a Proyecto, Bases de datos, y haga doble clic en Neighborhood_Data.gdb. Para Nombre, escriba My_Accuracy_Points (Mis puntos de precisión) y haga clic en Guardar.
- Para Campo de destino, confirme que Clasificado esté seleccionado.
- Para Número de puntos aleatorios, escriba 100.
- Para Estrategia de muestreo, elija Aleatorio estratificado ecualizado.
El parámetro Campo de destino determina si la tabla de atributos de los puntos describe el valor de clasificación o el valor de realidad del terreno. Su imagen de entrada es el ráster clasificado, de modo que conviene que los puntos contengan los valores clasificados.
El parámetro Número de puntos aleatorios determina cuántos puntos se crean. Para una imagen pequeña con solo dos clases, es aceptable un número de puntos relativamente pequeño.
Por último, el parámetro Estrategia de muestreo determina cuántos puntos se distribuyen aleatoriamente por la imagen. Los puntos pueden distribuirse proporcionalmente en el área de cada clase (Aleatorio estratificado), de forma equitativa entre cada clase (Aleatorio estratificado ecualizado) o de forma totalmente aleatoria (Aleatorio). Dado que su interés principal se centra en la precisión de superficies impermeables, la de menor área de las dos clases, distribuirá de forma equitativa los puntos entre cada clase para representar mejor las superficies impermeables en la evaluación.
Nota:
Los parámetros elegidos suponen que habrá 50 puntos seleccionados en las superficies impermeables y 50 puntos en las superficies permeables.
- Haga clic en Ejecutar.
Se agrega al mapa una nueva capa con 100 puntos de precisión.
Ahora examinará los atributos de esos puntos.
- En el panel Contenido, haga clic con el botón derecho en la capa My_Accuracy_Points (Mis puntos de exactitud) y elija Tabla de atributos.
Se abre la tabla de atributos.
La tabla de atributos contiene información para cada ubicación de punto. Además de los campos ObjectID y Shape habituales, los puntos tienen dos atributos: Clasificado y RealTerr (o Realidad del terreno). El campo Clasificado tiene dos valores: 20 o 40. Estos números representan las clases determinadas por el proceso de clasificación, como aparecen en la capa Louisville_Impervious: 20 es impermeable; 40 es permeable. Sin embargo, para el campo RealTerr, cada valor es -1 de forma predeterminada, lo que indica que el valor sigue siendo desconocido y que se debe comprobar la realidad del terreno del punto. Inspeccionará las imágenes de cada punto y editará los atributos RealTerr a 20 o 40, dependiendo del tipo de cobertura de suelo que encuentre.
- En el panel Contenido, desactive todas las capas excepto My_Accuracy_Points y Louisville_Neighborhood.tif.
Nota:
Si lo desea, puede cambiar el color de los puntos para verlos mejor. En el panel Contenido, si es necesario, haga clic con el botón derecho en el símbolo situado debajo de My_Accuracy_Points y elija un color de su gusto.
A continuación, ocultará la columna Clasificado para asegurarse de que su opinión durante el proceso de comprobación de realidad del terreno no se vea influida por los valores de clasificación existentes.
- En la tabla de atributos, haga clic con el botón derecho en el encabezado de la columna Clasificado y elija Ocultar campo.
- En la tabla de atributos, haga clic en el encabezado de la fila 1 para seleccionar la entidad. Haga clic con el botón derecho en el encabezado de fila y seleccione Acercar a.
El mapa se acerca al punto seleccionado. (Su punto estará en una ubicación distinta a la del punto de la imagen de ejemplo).
Nota:
Si es necesario, puede arrastrar la parte superior del panel de la tabla de atributos para cambiar su tamaño y ver tanto el área de mapa como la tabla de atributos.
En este ejemplo, el punto parece estar sobre hierba o suelo desnudo. Sea como fuere, la superficie es permeable. Cambiará el atributo RealTerr de este punto a 40, permeable. Si su primer punto parece estar sobre una superficie impermeable como carreteras o tejados, cambiará el atributo RealTerr a 20, impermeable.
Nota:
Dependiendo de la extensión de mapa y de la ubicación del punto, puede que no se haya acercado lo suficiente al punto para determinar sobre qué tipo de cobertura de suelo se encuentra. No tema acercarse más para determinar mejor la realidad del terreno del punto.
Como recordatorio, en estas imágenes, las superficies permeables pueden ser vegetación, árboles, suelo desnudo y agua. Las superficies impermeables pueden ser carreteras, caminos de entrada y tejados de edificios.
- En la tabla de atributos, en la columna RealTerr, haga doble clic en el valor correspondiente a la entidad seleccionada para editarlo. Sustituya el valor predeterminado por 40 o 20, según lo que observe, y pulse Intro.
- Seleccione el siguiente punto de la tabla de atributos. Haga clic con el botón derecho en el punto y seleccione Desplazar a.
El mapa se desplaza al punto correspondiente y mantiene el mismo nivel de zoom.
- Según la ubicación del punto, cambie el valor de RealTerr a 20 o 40.
Nota:
Puede resultar difícil constatar la realidad del terreno para algunos de los puntos debido a lo ambiguo de las entidades en el mapa. Si es necesario, puede activar la capa Louisville_Neighborhood_Color_Infrared temporalmente para ver si le ofrece una vista más clara.
- Repita el proceso para los diez primeros puntos.
- En la cinta, haga clic en la pestaña Editar. En el grupo Administrar ediciones, haga clic en Guardar para guardar todas las ediciones realizadas en la tabla de atributos. Cuando se le pida confirmar, haga clic en Sí.
Ahora interrumpirá sus esfuerzos de comprobación de realidad del terreno para desocultar la columna Clasificado y comparar los valores de las columnas Clasificado y RealTerr.
- Haga clic en el botón de opciones y elija Mostrar todos los campos.
Cuando reaparezca la columna Clasificado, examine los valores de ambas columnas y compárelos. ¿Coinciden todos hasta ahora?
Si lo desea, puede seguir introduciendo valores de realidad del terreno para los 100 puntos de precisión en la capa My_Accuracy_Points. Sin embargo, para ahorrar tiempo en este tutorial, puede utilizar en su lugar una clase de entidad de punto de evaluación de precisión en la que ya se completaron los valores de realidad del terreno. Si decide usar la capa de puntos de precisión ya creada, la agregará ahora al mapa.
Nota:
Si eligió comprobar la realidad del terreno de los 100 puntos, vuelva a ocultar el campo de atributo Clasificado y complete el proceso ahora. En la pestaña Editar, haga clic en Guardar para guardar todas las ediciones. Cierre la tabla de atributos y vaya al paso 19.
- En la cinta, haga clic en la pestaña Vista. En el grupo Ventanas, haga clic en panel Catálogo.
- En el panel Catálogo, en Proyecto, expanda Bases de datos y Neighborhood_Data.gdb. Haga clic con el botón derecho en Accuracy_Points y elija Agregar al mapa actual.
La nueva capa Accuracy_Points preparada aparece en el panel Contenido y en el mapa. Ya no necesita la primera capa, My_Accuracy_Points, de modo que la eliminará.
- En el panel Contenido, haga clic con el botón derecho en My_Accuracy_Points y seleccione Eliminar. Si aparece la ventana emergente Eliminar una capa, haga clic en Descartar.
- En el panel Contenido, haga clic con el botón derecho en la capa Louisville_Neighborhood.tif y seleccione Zoom a capa.
El mapa vuelve a la extensión completa de las imágenes.
- Guarde el proyecto.
Sugerencia:
También puede pulsar Ctrl+S para guardar el proyecto.
Calcular una matriz de confusión
Tras crear puntos de evaluación de precisión y rellenar sus atributos con datos de realidad del terreno, ahora usará los puntos para crear una matriz de confusión, que es una tabla que compara los atributos Clasificado y RealTerr de los puntos de evaluación de precisión y determina el porcentaje de precisión entre ellos. Si las áreas clasificadas como impermeables representan realmente áreas impermeables en las imágenes originales, la matriz de confusión tendrá un porcentaje elevado e indicará una precisión alta de la clasificación.
- Si es necesario, en la cinta, seleccione la pestaña Análisis. En el grupo Geoprocesamiento, haga clic en Herramientas para volver a abrir el panel Geoprocesamiento.
- En caso necesario, en el panel Geoprocesamiento, haga clic en el botón Atrás.
- En el panel Geoprocesamiento, busque y abra la herramienta Calcular matriz de confusión (de Herramientas de Image Analyst o Herramientas de Spatial Analyst).
La herramienta solo tiene dos parámetros: una entrada y una salida.
- En la herramienta Calcular matriz de confusión, introduzca lo siguiente:
- En Puntos de evaluación de precisión de entrada, elija Accuracy_Points.
- Para Matriz de confusión de salida, haga clic en Examinar. En Nombre, escriba Confusion_Matrix y haga clic en Guardar.
Nota:
Si decidió introducir los 100 puntos, en Puntos de evaluación de precisión de entrada, elija My_Accuracy_Points.
- Haga clic en Ejecutar.
La herramienta se ejecuta y la matriz de confusión se añade al panel Contenido. Dado que la matriz de confusión es una tabla sin datos espaciales, no aparece en el mapa.
- En el panel Contenido, bajo Tablas independientes, haga clic con el botón derecho en Confusion_Matrix (Matriz de confusión) y seleccione Abrir.
Aparece la tabla Confusion_Matrix.
Nota:
Si introdujo los valores de realidad del terreno en la capa My_Accuracy_Points, la matriz de confusión puede mostrar resultados ligeramente diferentes.
Los valores de la columna ClassValue sirven como encabezados de fila en la tabla. C_20 y C_40 corresponden a las dos clases del ráster clasificado: 20 para superficies impermeables y 40 para superficies permeables. Las columnas C_20 y C_40 representan puntos con una realidad del terreno de 20 o 40, mientras que las filas C_20 y C_40 representan puntos que se clasificaron como 20 o 40. Por ejemplo, al utilizar los puntos de ejemplo, 47 puntos que tenían una realidad del terreno de 20 se clasificaron como 20, mientras que un punto con una realidad del terreno de 20 se clasificó erróneamente como 40. De un total de 100 puntos, cuatro se clasificaron erróneamente (tres erróneamente como impermeables y uno erróneamente como permeable).
U_Accuracy significa precisión del usuario. Representa la fracción de píxeles clasificados correctamente por el total de clasificaciones. P_Accuracy (Exactitud_P) significa la exactitud del productor y representa la fracción de píxeles clasificados correctamente por el total de realidades del terreno. Por ejemplo, 50 píxeles se clasificaron como impermeables, de los cuales 47 se clasificaron correctamente, lo que llevó a una exactitud del usuario de 0,94 (o un 94 %). Mientras tanto, 48 píxeles tuvieron una realidad del terreno de impermeable, de los cuales 47 se clasificaron correctamente, lo que llevó a una exactitud del productor de 0,98 (o un 98 %).
El atributo final es Kappa. Basándose en las exactitudes totales del usuario y del productor, brinda una evaluación global de la precisión de clasificación. En el ejemplo de arriba, el valor Kappa es de 0,92, o un 92 %. Si bien no es perfecta, una exactitud global del 92 % es bastante fiable.
Nota:
Si el valor Kappa estuviera por debajo del 85 al 90 por ciento, probablemente la clasificación no sería lo suficientemente precisa y sería necesario volver a visitarla para mejorarla. Son dos las partes del flujo de trabajo que pueden contribuir a un error en la clasificación. La primera es la segmentación. Si los parámetros de segmentación generalizan la imagen original demasiado o demasiado poco, es posible que las entidades se clasifiquen de forma errónea. Puede probar a afinar los parámetros de segmentación para mejorar la segmentación. Igualmente, es posible que la mayoría de los errores los hayan provocado las muestras de entrenamiento. Contar con demasiado pocos ejemplos de formación, o con ejemplos de formación que cubren una variedad demasiado amplia de firmas espectrales, puede llevar también a un error de clasificación. Puede aumentarse la exactitud añadiendo más ejemplos o más clases.
- Guarde el proyecto.
Ahora puede informar a los administradores de la ciudad que su clasificación de superficies impermeables tiene una precisión del 92 por ciento. Se puede considerar lo suficientemente fiable como para empezar a usar los datos con el fin de calcular las tarifas por aguas pluviales.
Encontrará más tutoriales en la galería de tutoriales.
