Очень Большие данные

В первые годы работа со снимками осложнялась проблемами с вычислительной техникой, не справлявшейся с огромными объемами данных и непрерывным поступлением новой информации с различных спутников и самолетов. Вплоть до самого недавнего времени, большинство пользователей не имело доступа к достаточным вычислительным мощностям и объёмам хранилищ, чтобы справляться с большими объёмами данных. Кроме того, лишь немногие мощные корпоративные системы были достаточно мощными, чтобы удовлетворить потребности хранения и обработки данных для использования и получения максимальных преимуществ от работы со снимками.

По практическим причинам, большинство ГИС-специалистов и аналитиков разработали различные обходные маневры, чтобы справляться с этими проблемами. Многие из них применяются и по сей день.

Публикация большинства слоёв снимков происходила в форматах, выполняющих сжатие с потерями

Для интеграции огромных объемов информации снимков использовался ряд креативных технологий. Один из часто используемых подходов заключался в сжатии данных изображения и предварительной обработке результатов – например, с помощью сжатия MrSID или JPEG 2000. Это позволяло пользователям ГИС работать со всем объёмом снимков для интересующих территорий. Известно, что многие пользователи до сих пор используют MrSID и JPEG 2000 для публикации специализированных наборов снимков для удаленных сотрудников.

При преобразовании файла изображения в такие форматы сжатия с потерями, как MrSID или JPEG 2000, вы отбрасываете часть данных, которая не нужна для отображения снимков. Получается новый файл гораздо меньшего размера, который проще опубликовать. Тем не менее, потерянные данные могут оказаться нужными для некоторых рабочих процессов анализа изображений.

Проблема с предварительной обработкой и сжатием с потерями заключается в том, что исходные данные необходимы для большинства аналитических операций. Другая проблема – предварительная обработка и сжатие с потерями необратимы, и пользователи теряют связь с каналом текущих данных.

Двадцать четыре года назад я работала с менеджерами по ЧС после того, как ураган Эндрю уничтожил огромную часть инфраструктуры Флориды. Мы работали на больших бумажных картах и по несколько дней вручную редактировали данные, показывая, где находятся телефоны, вода, канализация и узлы электроснабжения, чтобы у служб быстрого реагирования была полная картина. Можно сказать, что мы вручную вели примитивную ГИС. Удивительно, что теперь веб-платформы позволяют синтезировать и визуализировать данные из десятков источников данных в режиме реального времени. Такие инструменты ГИС дают возможность принимать мудрые, быстрые и обоснованные решения в самых разных областях.

Сегодня мы зависим от резкого роста объема данных в области природных исследований, необходимых для защиты жизни и здоровья, а также укрепления экономической стабильности. Но данные исследований природы – это только начало. Задача состоит в том, чтобы соединить эти данные с практическими потребностями, чтобы их можно было применять на всех уровнях – от Уолл-стрит до Мэйн-стрит, от начальников домоуправлений до глав государств. Данные должны стать доступными для тех, кому они необходимы, когда им это необходимо, в нужных масштабах и разрешении. Данные должны отыскиваться и легко и быстро извлекаться. Короче говоря, они должны работать для всех.

Когда это произойдет, польза будет огромна. С помощью инструментов Esri и данных NOAA, перестраховочные общества смогут проверить, что обращения синхронны с точными прогнозами тяжёлых погодных условий. Карты-истории Esri придают практический смысл штормовым предупреждениям, прогнозам повышения уровня моря, результатам рыбного промысла и многому другому. NOAA расширяет возможности прогнозирования режима рек Америки в 700 раз, это более, чем на 2,7 миллиона точек больше. Научные данные позволяют подготавливать все эти продукты исследований окружающей среды. Это даёт возможность оградиться от рисков. И это даёт представление о нашей планете, чтобы формировать возможности лучшей жизни на ней.

Управление изображениями в ArcGIS Pro начинается с набора данных мозаики. Это каталог данных, позволяющий управлять, анализировать и показывать все сцены из ваших наборов.

Наборы данных мозаики содержатся в базе геоданных и состоят из трех слоев: границы, контуров и изображений.

• Слой границы показывает экстент всех наборов растровых данных в наборе данных мозаики в виде единого или составного полигона (для набора не смежных изображений).
• Слой контуров показывает экстент каждого отдельного элемента набора данных мозаики в виде определенных полигонов. Атрибутивная таблица контуров – это каталог всех изображений в наборе данных мозаики, и кроме того, соответствующих обзорных изображений. В этой таблице можно сортировать изображения на основе любых атрибутов, таких, как облачное покрытие, дата получения или любые характеристики сенсора.
• Слой изображений контролирует управление, анализ и отображение мозаики как единого интегрированного растрового слоя. К мозаике применяются свойства отображения, например, растяжка, комбинация слоев, метод пересчета и метод мозаики.

Набор данных мозаики позволяет выполнять обработку на лету и динамическую обработку. Так как обработка изображений происходит при доступе к ним, из одного источника можно создавать на лету несколько продуктов. Можно взять изображения из нескольких источников с различными разрешениями и создать бесшовную виртуальную мозаику. Все отдельные растры, составляющие набор данных мозаики, могут быть доступны через базу данных, позволяя определять, отображение перекрывающихся растров.