Обучение модели
Классификация почвенно-растительного покрова и землепользования предоставляет обзор общих категорий землепользования и почвенно-растительного покрова для обширных географических зон, основанный на изображениях дистанционного зондирования. Эта классификация играет важную роль в различных аспектах, таких как наблюдение за окружающей средой, управление ресурсами, сохранение биоразнообразия, сокращение риска катастроф и анализ изменений климата. Она способствует систематическому мониторингу изменений в землепользовании, эффективному распределению ресурсов, сохранению среды обитания, выявлению районов, подверженных катастрофам, и оценке последствий изменения климата.
Вы используете инструмент Обучить, использую AutoDL, чтобы обучить несколько моделей и выбрать наиболее результативную для классификации почвенно-растительного покрова на изображениях Радиолокатора с синтезированной апертурой (SAR).
Загрузка и изучение данных
Для начала вы загрузите проект, содержащий обучающие данные, которые вы используете.
- Загрузите пакет AutoDL_tutorial.ppkx.
Файл AutoDL_tutorial.ppkx будет загружен на ваш компьютер.
Примечание:
Файл .ppkx является пакетом проекта ArcGIS Pro и может содержать карты, данные и другие файлы, которые вы можете открыть в ArcGIS Pro. Подробнее об управлении файлами .ppkx в этом руководстве.
Пакет проекта весит около 4,3 ГБ, так что загрузка может занять некоторое время.
- Найдите загруженный файл на вашем компьютере.
Примечание:
В зависимости от настроек браузера, вам может быть предложено выбрать место для сохранения загружаемого файла. Большинство браузеров по умолчанию скачивают все в папку Загрузки.
- Дважды щелкните пакет проекта AutoDL_tutorial.ppkx.
Примечание:
Упакованный проект извлекается в папку Документы. Этот процесс извлекает сжатый проект и данные в новое место и может занять некоторое время. Путь к проекту будет выглядеть примерно так: C:\Users\username\Documents\ArcGIS\Packages\AutoDL_tutorial_7bd31e. Последние несколько цифр имени последней папки генерируются случайным образом.
Если вы хотите начать с исходного состояния проекта, вы можете переименовать или удалить эту папку и дважды щелкнуть файл пакета проекта AutoDL_tutorial.ppkx, чтобы создать копию проекта.
Примечание:
Если у вас нет доступа к ArcGIS Pro или учетной записи организации ArcGIS, см. варианты доступа к программному обеспечению.
Для инструмента Обучить, используя AutoDL необходим ArcGIS Pro версии 3.2 или выше.
- Если будет предложено, войдите под учетной записью вашей организации ArcGIS Online.
Появляется карта, показывающая часть Германии. Слой изображения, LULCRaster2018.tif, отображается поверх топографической базовой карты.
Слой LULCRaster.tif - классифицированный растр, показывающий Классы LULC 1 уровня. Эта система классификации обеспечивает широкую категоризацию поверхности Земли по общим типам землепользования и почвенно-растительного покрова, таким как городские территории, сельскохозяйственные земли, леса, водоемы и заболоченные территории. Она служит самым базовым уровнем классификации, предлагая обзор основных категорий земель для крупномасштабного анализа.
- На ленте, на вкладке Карта в секции Навигация щелкните Закладки и выберите закладку Speyer.
Карта приближается к юго-западной части слоя LULCRaster2018.tif.
Слой показывает застроенную территорию возле реки с лесными и сельскохозяйственными угодьями.
- На панели Содержание снимите отметку со слоя LULCRaster2018.tif и отметьте слой SARImagery2018.tif.
Слой SARImagery2018.tif получен из снимков дистанционного зондирования SAR Sentinel-1 Ground Range Detected (GRD) 2018 года. Этот слой имеет разрешение 10 метров и хранится в формате TIFF с тремя каналами.
Примечание:
Исходные изображения SAR были загружены и обработаны для подготовки к анализу. Изначально состоящие из двух поляризационных каналов, VV и VH, они были загружены и с помощью растровой функции Арифметика каналов, производный канал VV/VH был создан. Этот канал является результатом деления канала VV на канал VH. Эта комбинация каналов полезна, поскольку она подчеркивает различия в поведении рассеивания, что позволяет делать выводы о характеристиках поверхности. После этого преобразования был использован инструмент геообработки Объединить каналы, чтобы создать совокупность каналов VV, VH и VV/VH с 8-битной без знака глубиной пикселя.
Одним из веб-сайтов, где вы можете бесплатно загрузить данные Sentinel-1 GRD для любого места на Земле, является веб-сайт ASF Data Search Vertex.
Данные Sentinel-1 собираются регулярно, что позволяет сравнивать различные изображения и выявлять изменения с течением времени.
Классификация вручную всех пикселей этого изображения по классам LULC 1 уровня была бы долгим и утомительным процессом. Модель глубокого обучения может автоматизировать классификацию LULC на изображениях, что поможет вам регулярно получать новые данные, классифицировать их и обнаруживать изменения по сравнению со старыми изображениями. В этом руководстве вы протестируете процесс, чтобы определить, сможете ли вы использовать этот рабочий процесс для ежегодного обновления данных о землепользовании и почвенно-растительном покрове, а также для выявления и сообщения об изменениях с течением времени.
Изучение обучающих данных
Пакет проекта содержит обучающие образцы, которые вы будете использовать для обучения и определения наиболее эффективной модели. Эти образцы были получены с помощью инструмента Экспорт обучающих данных для глубокого обучения. Действия по подготовке этих данных выходят за рамки данного руководства. Вы можете подробнее узнать об этом.
- Щелкните вкладку Вид на ленте. В секции Окна щелкните Панель Каталог.
- На панели Каталог разверните Папки, разверните папку AutoDL_tutorial и разверните папку trainingdata.
Папка trainingdata содержит данные обучения, которые вы будете использовать.
Папка images содержит фрагменты изображений, извлеченных из слоя SARImagery2018.tif с помощью инструмента Экспорт обучающих данных для глубокого обучения.
Папка labels содержит изображения меток, на которых показаны классифицированные типы почвенно-растительного покрова.
Обучение модели глубокого обучения для классификации этих изображений включает предоставление модели фрагментов изображений и соответствующих меток, что позволяет модели выучить, какие классы связаны с какими комбинациями каналов SAR.
Обучение нескольких моделей
Одной из проблем глубокого обучения является определение того, какую архитектуру модели использовать. Процесс выбора и обучения модели может оказаться запутанным и длительным, поскольку модели имеют разные сильные и слабые стороны и требуют различных входных данных и параметров. Инструмент Обучить, используя AutoDL позволит вам выбрать набор архитектур моделей для обучения. Затем он обучит и протестирует их и сообщит, какая модель показала наилучший результат.
Инструмент Обучить, используя AutoDL обучает набор моделей глубокого обучения путем создания конвейеров обучения и автоматизации большей части процесса обучения. Это включает в себя увеличение данных, выбор модели, настройку гиперпараметров и уменьшение размера пакета. Результатом работы инструмента является метрика производительности наилучшей модели на обучающих данных и пакет обученной модели глубокого обучения (файл .dlpk), который может быть использован в инструментах Извлечь объекты с использованием модели ИИ и Классифицировать пикселы при помощи глубокого обучения для классификации других изображений.
Примечание:
Для использования инструментов глубокого обучения в ArcGIS Pro необходимо, чтобы на вашем компьютере были установлены библиотеки глубокого обучения. Если эти файлы еще не установлены, сохраните проект, закройте ArcGIS Pro и следуйте инструкциям по установке в статье Подготовка к глубокому обучению в ArcGIS Pro. В этих инструкциях вы также можете узнать, как проверить, можно ли запускать рабочие процессы глубокого обучения, используя ваше оборудование и программное обеспечение, а также познакомится с другими советами по использованию. После завершения вы можете открыть проект повторно и продолжить работу с руководством.
- На ленте щелкните вкладку Анализ и в разделе Геообработка щелкните Инструменты.
- На панели Геообработка в поисковом окне введите обучить, используя autodl. В результатах поиска выберите инструмент Обучить, используя AutoDL
- На панели инструмента Обучить, используя AutoDL для параметра Входные обучающие данные щелкните кнопку Обзор. Перейдите к Папки и выберите папку AutoDL_tutorial, затем trainingdata и нажмите ОК.
- Для параметра Выходная модель щёлкните кнопку Обзор. Перейдите к папке AutoDL_tutorial, напечатайте ClassifiedSARLULC и нажмите Сохранить.
Таким образом создается новая папка, содержащая обученную модель или модели.
Теперь вы укажете, сколько времени инструмент должен потратить на обучение моделей.
- В поле Общее ограничение по времени (часы) впишите 4.
Инструмент будет работать над задачей до четырех часов. В зависимости от графического процессора вашего компьютера, он может использовать все время или выполнить задачу быстрее.
На основе формата обучающих данных, вы увидите список поддерживаемый нейронных сетей, специфичный для классификации пикселов.
- Раскройте раздел Дополнительные опции.
- В Нейронных сетях щелкните Добавить многие.
Список Нейронных сетей появляется.
- Отметьте следующие нейронные сети:
- HRNet
- PSPNetClassifier
- UnetClassifier
- Щелкните Добавить.
Нейронные сети добавляются в список сетей для обучения и оценки с помощью инструмента Обучить, используя AutoDL.
Эти нейронные сети классифицирует пиксели растра с помощью семантической сегментации. Они обычно используется для классификации земельного покрова.
- Отметьте Сохранение вычисленных моделей
Вы указали, что инструмент Обучить, используя AutoDL должен работать в течение четырех часов, обучая и оценивая три модели.
Примечание:
Если у вас есть компьютер с подходящим графическим процессором, вы можете запустить инструмент для обучения и оценки трех моделей в течение следующих четырех часов. Чтобы узнать больше о графических процессорах и их использовании в процессах глубокого обучения, ознакомьтесь с разделом Проверка доступности графического процессора в руководстве Подготовка к глубокому обучению в ArcGIS Pro. При желании вы можете пропустить этап обучения и просмотреть подготовленную для вас папку со всеми результатами работы инструмента. Если вы не собираетесь запускать процесс обучения модели, прочтите следующие четыре шага и начните работу снова со следующего раздела Просмотр результатов обучения модели.
- Выберите вкладку Параметры среды.
- В разделе Тип процессора в поле GPU ID введите 0.
Если ваш графический процессор с поддержкой CUDA имеет другой идентификатор GPU, используйте этот идентификационный номер. Это может быть необходимо, если на вашем компьютере установлено более одного графического процессора.
- Дополнительно, щелкните Запустить.
Процесс будет работать до четырех часов.
Вы можете просматривать сообщения о состоянии процесса во время работы инструмента.
- Внизу панели Обучить, используя AutoDL щелкните Просмотреть подробную информацию.
- Щелкните вкладку Сообщения.
После завершения процесса, вы сможете увидеть результаты на вкладке Сообщения.
В процессе обучения инструмент случайным образом выбирает 10 процентов обучающего набора данных, чтобы зарезервировать их для проверки, и обучает модели на оставшихся 90 процентах. В процессе обучения модель вычисляет, насколько хорошо прогнозируемые значения соответствуют значениям в проверочном наборе данных. В таблице приведены данные об эффективности каждой модели. Отчасти из-за случайного выбора проверочных образцов, обучение моделей с помощью этого инструмента не является детерминированным. Инструмент также случайным образом устанавливает некоторые начальные условия при каждом запуске. Более подробно см. справку инструмента. При наличии одного и того же набора обучающих данных в качестве наилучшей модели могут быть выбраны разные модели, и в этой таблице появятся разные значения.
Таблица включает столбцы как для потерь обучения, так и для потерь проверки. Потери обучения показывают, как хорошо модель обучилась. Потери проверки показывает, насколько хорошо обученная модель сработала на проверочной выборке, по сути, показывая, насколько обобщенным было обучение. Более низкие значения этих двух показателей указывают на лучшую эффективность обучения, поэтому в этом случае модель UnetClassifier показала наилучшие результаты с точки зрения потерь обучения и потерь проверки.
Модель PSPNetClassifier имела более высокое значение точности, чем другие модели. Для параметра точности более высокие значения являются лучшими.
Метрики точности и DICE показывают, насколько правильно модель классифицирует пиксели. Модель PSPNetClassifier также имела более высокое значение точности, чем другие модели.
Скорость обучения - это гиперпараметр, используемый при обучении нейронных сетей. Если значение не указано, оно будет рассчитано обучающим инструментом. Инструмент пытается оптимизировать параметр скорости обучения, соотнося скорость с качеством. Полученное значение скорости обучения, указанное в таблице, представляет интерес в первую очередь в том случае, если вы, как продвинутый пользователь, хотите продолжить обучение модели и вам нужны рекомендации по выбору значения скорости обучения для этого дополнительного обучения.
В столбце Время указано время, необходимое для обучения каждой модели. Вы заметите, что для первой модели время больше, чем для остальных. Это связано с тем, что для первой модели существуют некоторые накладные расходы на обработку данных, которые затем повторно используются в последующих моделях.
Скелет архитектуры является скелетом модели по умолчанию. Если вы установите параметр Режим AutoDL на Дополнительный вместо Стандартный, появится возможность попробовать несколько скелетов.
- Закройте панель Сообщения.
Просмотр результатов обучения модели
Загруженный вами пакет проекта включает в себя архивированную папку с результатами работы инструмента Обучить, используя AutoDL. Вы просмотрите их сейчас.
- На панели Каталог выберите Папки, и затем AutoDL_tutorial. Щелкните правой кнопкой по папке userdata и выберите Скопировать путь.
- Вставьте путь в окно пути в Microsoft File Explorer.
Путь будет выглядеть так: C:\Users\username\Documents\ArcGIS\Packages\AutoDL_tutorial_7bd31e\userdata
Внутри этой папки есть два сжатых архива. Архив LULCClassifierModel.zip содержит результаты запуска инструмента Обучить, используя AutoDL с настройками, указанными ранее.
Архив TrainingData.zip содержит данные, использованные для создания обучающей выборки.
- Щелкните правой кнопкой по архиву LULCClassifier.zip и выберите Извлечь все.
- Щёлкните Извлечь.
- Откройте папку LULCClassifierModel.
В этой папке содержится несколько результатов работы инструмента. К ним относятся:
- ModelCharacteristics - папка, содержащая изображения, использованные в файле README.html.
- models - папка, содержащая все обученные модели, которые были оценены на части обучающих данных.
- ArcGISImageClassifier - это скрипт на языке Python с кодом, использованным при классификации изображений для процесса обучения.
- ClassifiedSARLULC.dlpk - это полный пакет всех файлов, которые хранятся в папке результатов модели, включая обученную модель, файл определения модели, а также файл метрик модели. Этот пакет можно опубликовать в ArcGIS Online и ArcGIS Enterprise как элемент обученной модели для общего доступа.
- ClassifiedSARLULC.emd - это файл определения модели, который содержит информацию модели о размере листов, классах, типе модели и так далее.
- ClassifiedSARLULC.pth - это файл весов обученной модели, обычно он сохраняется в формате PyTorch.
- model_metrics.html - это HTML страница с подробностями об использованной скорости обучения и точности обученной модели.
- README.html - это HTML страница с подробностями об оценке моделей и точности наиболее эффективной модели.
- Дважды щелкните файл README.html.
Страница откроется во вкладке браузера. На этой странице представлена информация о наиболее эффективной модели, ее сравнении с другими моделями и о том, насколько хорошо она смогла классифицировать LULC на основе ваших входных обучающих данных.
В разделе Потери при обучении и проверке отображается график величины ошибки, которая присутствовала в модели во время обучения. При запуске инструмента 90 процентов ваших входных данных использовались для обучения модели, а 10 процентов - для проверки модели с целью определения ее точности. В идеальном случае вы увидите, что эти значения потерь снижаются и сходятся по мере увеличения числа обработанных снимков (пакетов) в течение доступного времени.
Примечание:
Поскольку проверочные образцы выбираются случайным образом из фрагментов изображений обучающей выборки, а некоторые гиперпараметры устанавливаются случайным образом для начала обучения, показатели потерь при обучении и при проверке могут отличаться при каждом запуске инструмента, даже на одном и том же обучающем наборе данных.
На этом графике видно, что для первых 60 обработанных пакетов изображений ошибка, отображаемая линией Проверки, высока, но существенно различается для каждой партии. После 60 пакетов количество ошибок в процессе Проверки уменьшается и варьируется меньше, за исключением пика при 120. Линия Обучения показывает более стабильно снижаемое количество ошибок.
Секция Анализ модели отображает точность классов данных. В вашей модели технически было 5 классов: 4 для почвенно-растительного покрова и один для NoData. Более высокое значение точности означает, что модель более уверена в своих результатах. Вы можете прочитать больше об интерпретации статистики точности и достоверности инструментов глубокого обучения.
Наконец, на этой странице показаны несколько фрагментов-образцов, сравнивающих исходные обучающие данные LULC, Истинно точно (слева) и Прогнозы модели (справа). В идеале прогноз должен точно соответствовать исходным достоверным данным.
- Закройте страницу README в веб-браузере.
- На Панели инструментов быстрого доступа щелкните кнопку Сохранить проект.
Вы обучили модель глубокого обучения для классификации LULC на снимках Sentinel 1, полученных в 2018 году, и обнаружили, что наиболее эффективная модель для этой задачи основана на архитектуре UnetClassifier. Далее вы будете использовать эту модель для автоматической классификации земельного покрова на снимках Sentinel 1, сделанных в 2024 году.
Применение модели
Как только модель глубокого обучения будет создана, ее можно будет использовать для быстрой классификации растительного покрова на основе аналогичных данных, собранных в разные даты. Это позволит вам отслеживать изменение растительного покрова с течением времени. В качестве примера вы возьмете созданную вами модель и будете использовать ее для классификации снимков Sentinel-1, сделанных в 2024 году в том же географическом районе.
Использование обученной модели для классификации новых изображений
Далее вы будете использовать модель глубокого обучения для классификации изображений Sentinel-1, собранных в 2024 году, с помощью инструмента Классифицировать пикселы при помощи глубокого обучения.
- В ArcGIS Pro щелкните вкладку карты Развернуть модель.
На карте Развернуть модель показан слой SARImagery2024.tif.
- На панели Геообработка щелкните кнопку Назад.
- В поле поиска введите классифицировать пикселы при помощи глубокого обучения. В результатах поиска щелкните инструмент Классифицировать пикселы при помощи глубокого обучения.
- В инструменте Классифицировать пикселы при помощи глубокого обучения для параметра Входной растр выберите SARImagery2024.tif.
- Для Выходной набор растровых данных введите ClassifiedLULC2024.
- Для Определение модели нажмите кнопку Обзор и выберите папку ClassifiedSARLULC. Щелкните пакет глубокого обучения ClassifiedSARLULC.
Примечание:
Если вы не обучали модель на своем компьютере, вы можете использовать обученную модель, которая поставляется вместе с проектом. В структуре папок проекта перейдите к папке userdata\ClassifiedSARLULC\ClassifiedSARLULC и выберите пакет глубокого обучения ClassifiedSARLULC.dlpk.
После того, как инструмент загрузит пакет глубокого обучения, появится таблица Аргументы модели. Вы примите значения по умолчанию. Вы можете сократить время обработки, увеличив размер пакета до 8 или 16, если у вас компьютер с графическим процессором и не менее чем 8 ГБ выделенной видеопамяти. Если ваш графический процессор имеет менее 8 ГБ видеопамяти, вам может потребоваться уменьшить размер пакета до 2.
- Выберите вкладку Параметры среды.
- В разделе Анализ растра для Размер ячейки введите 10.
Размер ячейки в данных SAR не совсем соответствует размеру ячейки, на которой была обучена модель, поэтому вы можете указать, что размер ячейки в выходных данных должен быть равен 10.
- Для Типа процессора выберите GPU.
Процесс классификации этого изображения может занять 40 минут и более. При желании вы можете пропустить запуск инструмента и просмотреть выходные данные инструмента, которые предоставлены в пакете проекта.
- В разделе Тип процессора в поле GPU ID введите 0.
Если ваш графический процессор с поддержкой CUDA имеет другой идентификатор GPU, используйте этот идентификационный номер. Это может быть необходимо, если на вашем компьютере установлено более одного графического процессора.
- Дополнительно, щелкните Запустить.
Если вы запустите инструмент, то по завершении его работы просмотрите результаты на карте.
Примечание:
Цвета классов изображения будут распределены случайным образом. Вы можете настроить их в соответствии с вашими предпочтениями. Щелкните правой кнопкой мыши символ класса и в цветовой палитре выберите подходящий цвет.
- Если вы не запускали инструмент, щелкните вкладку Результаты карты, чтобы увидеть результаты работы инструмента.
Откроется классифицированное изображение.
Примечание:
Глубокое обучение не является детерминированным процессом, поэтому результаты, которые вы получите, могут немного отличаться.
Вы можете сравнить растр 2024 года с растром 2018 года, чтобы выявить крупномасштабные изменения в землепользовании с течением времени. Теперь, когда модель глубокого обучения обучена, вы можете применять ее к новым снимкам SAR каждый год или чаще. Эта обученная модель может стать частью эффективного рабочего процесса для мониторинга изменений растительного покрова с течением времени.
- Нажмите Ctrl+S, чтобы сохранить проект.
В этом руководстве вы применили инструмент Обучить, использую AutoDL для обучения нескольких моделей классификации растительного покрова по снимкам SAR Sentinel-1 и автоматического определения того, какая из них работает лучше всего. Затем вы применили наиболее эффективную обученную модель к более новым изображениям.
Примечание:
Esri предоставляет более 60 предварительно подготовленных моделей ArcGIS Living Atlas для ускорения процесса классификации изображений и обнаружения объектов. Эти модели бесплатны для скачивания и вы можете развернуть их для любых подходящих снимков. Также вы можете настроить эти предварительно обученные модели для собственных обучающих данных, что, как правило, занимает меньше времени, чем обучение модели с нуля. Например, см. учебные руководства Выявление объектов с помощью предварительно обученной модели глубокого обучения и Карты затоплений с данными SAR и глубоким обучением.Посмотрите эту серию учебных пособий, чтобы ознакомиться с дополнительными руководствами по глубокому обучению.
Для получения дополнительной информации о подготовке изображений SAR для рабочих процессов глубокого обучения см. это руководство.
