Оценка точности классификации водопроницаемости
Выполнение визуальной оценки
Для начала вы откроете проект, изучите содержащиеся в нем слои и неформально оцените точность классификации, проверив ее визуально. Сначала вы загрузите и откроете проект, содержащий слой классификации водопроницаемости и эталонные изображения.
Примечание:
Хотя вы можете использовать свои собственные результаты из руководства Вычисление водонепроницаемых поверхностей по спектрозональным снимкам, использование только что загруженных данных гарантирует, что то, что вы видите на экране, будет соответствовать шагам, описанным в этом руководстве.
- Загрузите файл Imperviousness_Classified.zip, содержащий ваш проект и его данные.
- Найдите загруженный файл на вашем компьютере.
Примечание:
В зависимости от настроек браузера, вам могло быть предложено выбрать место для сохранения загружаемого файла. Большинство браузеров по умолчанию скачивают все в папку Загрузки.
- Щелкните правой кнопкой мыши файл Imperviousness_Classified.zip и извлеките его в место, которое вы можете легко найти, например в папку Документы.
- Запустите ArcGIS Pro. Если будет предложено, войдите под лицензированной учетной записью организации ArcGIS.
Примечание:
Если у вас нет доступа к ArcGIS Pro или учетной записи организации ArcGIS, см. варианты доступа к программному обеспечению.
- На домашней странице щелкните Открыть другой проект.
- В окне Открыть проект перейдите к извлеченной папке Imperviousness_Classified. Выберите Imperviousness_Classified.aprx и щелкните OK.
Откроется проект.
Далее вы исследуете слои, которые содержит проект. Верхний слой Louisville_Impervious включен. Это результат предыдущего процесса классификации. Водонепроницаемые поверхности отображаются серым цветом, а водопроницаемые - зеленым. Базовая карта World Topographic Map также включена и обеспечивает контекст для слоев проекта.
- На панели Содержание снимите отметку Louisville_Impervious, чтобы выключить слой. Поставьте отметку у слоя Louisville_Neighborhood.tif, чтобы включить его.
Louisville_Neighborhood.tif - это 4-канальный аэрофотоснимок местности с разрешением 6 дюймов, показанный в комбинации каналов Natural Colors (красный, зеленый и синий). Это означает, что он похож на то, что видит человеческий глаз. Вы будете использовать его в качестве справочного материала при выполнении оценки точности.
- На панели Содержание отключите слой Louisville_Neighborhood.tif и включите слой Louisville_Neighborhood_Color_Infrared.
Это то же изображение, отображаемое в комбинации цветного инфракрасного диапазона (инфракрасный, красный и зеленый). Оно показывает растительность, выделенную красным. Вы также будете использовать его в качестве справочного материала при выполнении оценки точности. Далее вы оцените точность классификации неформально, сравнив слои визуально.
- На панели Содержание отключите слой Louisville_Neighborhood_Color_Infrared, и включите слои Louisville_Impervious и Louisville_Neighborhood.tif. Щелкните слой Louisville_Impervious, чтобы выбрать его.
- Щелкните на ленте вкладку Растровый слой. В группе Сравнить щелкните Спрятать.
- На карте перетащите указатель сверху вниз, чтобы отобразить изображение Louisville_Neighborhood.tif под слоем классификации Louisville_Impervious. Изучите и сравните два слоя.
Насколько точной кажется классификация?
- При желании вы также можете переключаться между Louisville_Impervious и Louisville_Neighborhood_Color_Infrared, чтобы сравнить классификацию с цветными инфракрасными изображениями.
- На ленте щелкните вкладку Карта. В группе Навигация щёлкните Исследовать, чтобы сделать инструмент Спрятать неактивным.
- На панели Инструменты быстрого доступа щелкните кнопку Сохранить, чтобы сохранить проект.
Примечание:
Может появиться сообщение, предупреждающее вас о том, что сохранение этого файла проекта в текущей версии ArcGIS Pro не позволит вам снова открыть его в более ранней версии. Если вы видите это сообщение, нажмите Да, чтобы продолжить.
Создание точек оценки точности
Неформальное сравнение слоя классификации с исходным изображением в некоторой степени полезно, но оно не обеспечивает формального измерения точности классификации. Поскольку счета за ливневую воду определяются на основе вашего анализа, вам потребуется более тщательный процесс оценки. Чтобы выполнить формальную оценку, вы создадите случайно сгенерированные точки оценки точности по всему изображению. Затем вы сравните классификационное значение (водопроницаемость или водонепроницаемость) в местоположении каждой точки с фактическим типом почвенно-растительного покрова, показанным на исходных изображениях.
Примечание:
Процесс визуальной проверки фактического почвенно-растительного покрова в данном месте называется наземной проверкой. Самая строгая оценка точности предполагает выезд кого-либо на место для проверки почвенно-растительного покрова лично, но во многих случаях поездка к фактическому месту будет невозможна или слишком затратна. Таким образом, просмотр изображений обычно считается следующим лучшим выбором для процесса наземной проверки.
- Щелкните вкладку Анализ на ленте. В группе Геообработка щелкните Инструменты.
Откроется панель Геообработка.
- На панели Геообработка найдите Создать точки оценки точности.
- В результатах поиска щелкните Создать точки оценки точности (для Инструментов Image Analyst или Инструментов Spatial Analyst), чтобы открыть инструмент.
Инструмент создаёт произвольно расположенные точки для оценки точности выполненной классификации по всему изображению и приписывает точкам атрибуты на основании значений классифицированного изображения в местоположениях этих точек. В точках также будет поле для наземного значения исходного изображения, которое вы вручную заполните для каждой точки.
- В инструменте Создать точки оценки точности введите следующие параметры:
- В опции Входные растровые или векторные данные укажите слой Louisville_Impervious.
- Для параметра Выходные точки оценки точности щёлкните кнопку Обзор. В появившемся окне перейдите к Проект, Базы данных и дважды щелкните Neighborhood_Data.gdb. Для Имя введите My_Accuracy_Points и щелкните Сохранить.
- Для Целевого поля подтвердите, что выбрано Classified.
- Для Числа произвольных точек введите 100.
- Для Стратегии выборки выберите Выровненная стратифицированная случайная выборка.
Параметр Целевое поле определяет, описывает ли таблица атрибутов точек значения классификации или истинные значения земной поверхности. Так как ваше входное изображение – классифицированный растр, точки должны содержать значения классификации.
Параметр Число произвольных точек определяет, сколько точек будет создано. Для маленьких снимков достаточно относительно небольшого количества точек.
Параметр Стратегия выборки определяет, каким образом точки будут случайным образом распределяться по изображению. Точки могут быть распределены пропорционально площади каждого класса (Стратифицированная случайная выборка), одинаково между каждым классом (Выровненная стратифицированная случайная выборка) или абсолютно случайным образом (Произвольно). Поскольку вас в первую очередь интересует точность водонепроницаемых поверхностей, площадь которых меньше, чем у двух классов, вы равномерно распределите баллы между каждым классом, чтобы лучше представить водонепроницаемые поверхности в оценке.
Примечание:
Выбранные параметры означают, что будет выделено 50 точек на водонепроницаемых поверхностях и 50 точек на водопроницаемых поверхностях.
- Щелкните Запустить.
На карту добавлен новый слой со 100 точками точности.
Теперь вы просмотрите атрибуты этих точек.
- На панели Содержание щёлкните правой кнопкой слой My_Accuracy_Points и воспользуйтесь командой Таблица атрибутов.
Появится таблица атрибутов.
Таблица атрибутов содержит информацию для каждого местоположения точки. Помимо обычных полей ObjectID и Shape, у точек ещё два атрибута: Classified и GrndTruth (или Ground Truth). В поле Classified хранятся значения 20 или 40. Эти числа представляют классы, определенные в процессе классификации, как они появляются в слое Louisville_Impervious: 20 - водонепроницаемый; 40 - водопроницаемый. Однако для поля GrndTruth каждое значение по умолчанию равно -1, сигнализируя о том, что значение все еще неизвестно, и точка должна быть подтверждена наземной проверкой. Вы изучите изображения для каждой точки и измените атрибуты GrndTruth на 20 или 40, в зависимости от типа почвенно-растительного покрова, который вы найдете.
- На панели Содержание снимите отметки у всех слоев, кроме My_Accuracy_Points и Louisville_Neighborhood.tif.
Примечание:
При желании вы можете изменить цвет точек, чтобы лучше их видеть. На панели Содержание при необходимости щелкните правой кнопкой мыши символ под My_Accuracy_Points и выберите нужный цвет.
Затем вы скроете столбец Classified, чтобы убедиться, что на ваше суждение во время процесса наземной проверки не влияют существующие значения классификации.
- В таблице атрибутов щелкните правой кнопкой мыши заголовок столбца Classified и выберите Скрыть поле.
- В таблице атрибутов щелкните заголовок строки 1, чтобы выбрать объект. Щёлкните правой кнопкой заголовок строки и воспользуйтесь командой Приблизить к.
Карта приблизится к выбранной точке. (Ваше местоположение, скорее всего, будет отличаться от примера изображения, приведенного здесь.)
Примечание:
При необходимости вы можете перетащить верхнюю часть панели таблицы атрибутов, чтобы изменить ее размер, чтобы вы могли видеть как область карты, так и таблицу атрибутов.
В нашем примере, точка оказалась на траве или голой земле. Следовательно, поверхность водопроницаемая. Надо изменить атрибут GrndTruth этой точки на 40 (водопроницаемая). Если у вас первая точка оказалась на водонепроницаемой поверхности (дороге или крыше), измените атрибут GrndTruth на 20 (водонепроницаемая).
Примечание:
В зависимости от экстента карты и местоположения точки, может понадобиться приблизить ещё сильнее, чтобы понять, на какую именно поверхность попала точка. Приближайтесь настолько близко, насколько нужно для определения типа поверхности.
Напоминаем, что на этом изображении водопроницаемые поверхности включают растительность, деревья, голую землю и воду. Водонепроницаемые поверхности включают дороги, проезды и крыши зданий.
- В таблице атрибутов дважды щёлкните в столбце GrndTruth, чтобы выделить значение выбранного объекта и его отредактировать. Замените значение по умолчанию на 40 или 20, в зависимости от ваших выводов, и нажмите Enter.
- Выберите следующую строку в таблице атрибутов. Щёлкните правой кнопкой точку и воспользуйтесь командой Приблизить к.
Карта переместится в соответствующую точку с сохранением того же уровня масштабирования.
- В зависимости от местоположения точки, измените значение GrndTruth на 20 или 40.
Примечание:
Иногда бывает сложно понять, на какой поверхности находится точка из-за нагромождения объектов. При необходимости вы можете временно включить слой Louisville_Neighborhood_Color_Infrared, чтобы увидеть, дает ли он более четкое изображение.
- Повторите эту процедуру для первых 10 точек.
- На ленте щелкните вкладку Редактирование. В группе Управление изменениями щелкните Сохранить, чтобы сохранить все изменения, внесенные в таблицу атрибутов. Когда будет предложено подтвердить, щелкните Да.
Теперь вы приостановите свои попытки наземной проверки, чтобы отобразить столбец Classified и сравнить значения в столбцах Classified и GrndTruth.
- Щелкните кнопку опций и выберите Показать все поля.
После того, как столбец Classified снова появится, проверьте значения в обоих столбцах и сравните их. Все ли они пока совпадают?
При желании вы можете продолжить ввод значений наземной проверки для всех 100 точек точности в слое My_Accuracy_Points. Однако, чтобы сэкономить время на этом руководстве, вместо этого вы можете использовать класс точечных объектов оценки точности, в котором были подставлены значения наземной проверки. Если вы решите использовать готовый слой точек точности, теперь вы добавите его на карту.
Примечание:
Если вы сами решили подтвердить 100 точек, снова скройте поле атрибута Classified и завершите процесс сейчас. На вкладке Редактирование щелкните Сохранить, чтобы сохранить все изменения. Закройте таблицу атрибутов и перейдите к шагу 19.
- Щелкните вкладку Вид на ленте. В группе Окна щелкните Панель Каталог.
- На панели Каталог в разделе Проект разверните Базы данных, и разверните Neighborhood_Data.gdb. Щёлкните правой кнопкой мыши Accuracy_Points и выберите Добавить к текущей карте.
Новый готовый слой Accuracy_Points появится на панели Содержание и на карте. Вам больше не нужен первый слой My_Accuracy_Points, поэтому вы удалите его.
- На панели Содержание щелкните правой кнопкой мыши My_Accuracy_Points и выберите Удалить. Если появится всплывающее окно Удаление слоя, щелкните Удалить.
- На панели Содержание щелкните правой кнопкой мыши слой Louisville_Neighborhood.tif и выберите Приблизить к слою.
Карта приблизится к полному экстенту соответствующего снимка.
- Сохраните проект.
Подсказка:
Вы также можете нажать Ctrl+S, чтобы сохранить проект.
Вычисление матрицы несоответствий
После создания точек оценки точности и заполнения их атрибутов данными наземных наблюдений, теперь можно использовать эти точки для создания матрицы несоответствий. Матрица несоответствий – это таблица, в которой сравниваются атрибуты Classified и GrndTruth из точек проверки точности, и на основании этого сравнения определяется процент точности. Если классифицированные как водонепроницаемые области действительно являются непроницаемыми, в матрице несоответствий будет высокий процент соответствий, означающий высокую точность.
- Если необходимо, щелкните вкладку Анализ на ленте. В группе Геообработка щелкните Инструменты, чтобы открыть панель Геообработка.
- При необходимости, на панели Геообработка щелкните кнопку Назад.
- На панели Геообработка найдите и откройте инструмент Вычисление матрицы несоответствий (для Инструментов Image Analyst или Инструментов Spatial Analyst).
Данный инструмент имеет лишь два параметра: входные точки и выходная матрица.
- В инструменте Вычисление матрицы несоответствий введите следующее:
- Для Входных точек оценки точности выберите Accuracy_Points.
- Для параметра Выходная матрица несоответствий щёлкните кнопку Обзор. Для Имя введите Confusion_Matrix и щелкните Сохранить.
Примечание:
Если вы решили ввести 100 точек самостоятельно, для Входных точек оценки точности выберите My_Accuracy_Points.
- Щелкните Запустить.
Инструмент запустится и матрица несоответствий добавится на панель Содержание. Так как матрица представляет собой таблицу без пространственных данных, на карте она не отобразится.
- На панели Содержание ниже Автономные таблицы щёлкните правой кнопкой таблицу Confusion_Matrix и воспользуйтесь командой Открыть.
Появляется таблица Confusion_Matrix.
Примечание:
Если вы сами ввели значения наземной проверки в слой My_Accuracy_Points, матрица неточностей может показать несколько другие результаты.
Значения столбца ClassValue служат названиями строк в таблице. C_20 и C_40 соответствуют двум классам классифицированного растра: 20 для водонепроницаемых и 40 для водопроницаемых поверхностей. Столбцы C_20 и C_40 представляют точки со значениями наземной проверки 20 или 40, а строки C_20 и C_40 представляют точки, классифицированные как 20 или 40. Например, в данном примере 47 точек с наземными значениями 20 тоже классифицировались как 20, но одна точка с наземным значением 20 ошибочно классифицирована как 40. Всего из 100 точек четыре были классифицированы ошибочно (три как непроницаемые и одна как водопроницаемая).
U_Accuracy означает пользовательскую точность. Представляет долю пикселов, правильно классифицированных относительно всей классификации. P_Accuracy означает производственную точность и представляет долю пикселов, корректно классифицированных относительно наземных значений. Например, 50 пикселов классифицировано как непроницаемые, из которых правильно классифицировано 47, т.е. пользовательская точность равна 0,94 (или 94%). Или 48 пикселов классифицировано как непроницаемые, из которых правильно классифицировано 47, т.е. пользовательская точность равна 0,98 (или 98%).
Последний атрибут Kappa. На основании общей пользовательской и производственной точностей индекс Kappa дает общую оценку точности классификации. В примере выше индекс Карра равен 0,92 или 92%. Уровень точности в 92 процента вполне приемлем, хотя и не идеален.
Примечание:
Если бы значение Kappa было ниже 85–90 процентов, ваша классификация, вероятно, была бы недостаточно точной, и ее необходимо было бы пересмотреть, чтобы улучшить. Ошибка классификации могла возникнуть в двух местах рабочего процесса. Во-первых, сегментация. Если ваши параметры сегментации генерализировали исходное изображение слишком тяжело или недостаточно, объекты могли оказаться неверно классифицированными. Вы можете попробовать настроить параметры сегментации для лучшей сегментации. Или большинство ошибок возникает при отборе обучающих образцов. Если образцов мало, или если они охватывают слишком широкое разнообразие спектральных сигнатур, это тоже может вызвать ошибку классификации. Добавление большего числа образцов или дополнительных классов может увеличить точность.
- Сохраните проект.
Теперь вы можете сообщить городской администрации, что ваша классификация водонепроницаемых поверхностей точна на 92 процента. Это можно считать достаточно надежным, чтобы начать использовать данные для расчета платы за ливневую воду.
Вы можете найти больше учебных пособий в галерее учебных пособий.
