Создать конвейер данных
Чтобы создать окончательный набор данных, запрошенный заинтересованными сторонами, ваш конвейер данных должен преобразовать данные, включив местоположение, удалив ненужные атрибуты и вычислив новые поля.
Вы добавите исходную таблицу, содержащую информацию о проектах капитального строительства, отфильтруете набор данных, создадите его геометрию по координатам, перепроецируете данные и вычислите значения в поле.
Создать конвейер данных
Сначала вы войдете в ArcGIS Online и создадите пустой конвейер данных.
- Войдите под учётной записью организации ArcGIS.
Примечание:
Если у вас нет учетной записи организации, см. варианты доступа к программному обеспечению.
- На ленте щелкните кнопку запуска приложений. Выберите Data Pipelines.
На вкладке браузера откроется галерея, показывающая все имеющиеся у вас конвейеры данных.
- Щелкните Создать конвейер данных.
Появится Редактор Конвейеров данных Эта среда редактирования позволяет добавлять входные данные, предоставляет доступ к инструментам для преобразования данных и позволяет записывать обработанные данные в векторный слой.
Пока вы активно работаете в Редакторе Конвейеров данных, вы подключены к вычислительному ресурсу, как указано в диалоговом окне Информация о подключении.
Примечание:
Для использования ArcGIS Data Pipelines требуются кредиты. Кредиты используются, пока страница редактора имеет статус Подключено. Дополнительные сведения о потреблении кредитов и ArcGIS Data Pipelines читайте в разделах Требуются ли для Конвейеров данных кредиты и Вычислительные ресурсы.
Добавление таблицы CSV в качестве входных данных
Теперь, когда у вас открыт Редактор Конвейеров данных, вы добавите свой первый входной набор данных. Это таблица проектов капитального строительства от Департамента парков и отдыха (DPR). Поскольку эта таблица часто обновляется, экспортированная таблица быстро устареет. Поэтому вы получите доступ к таблице .csv напрямую из ее источника.
- Откройте страницу New York City OpenData (NYC OpenData) для набора данных Capital Project Tracker.
Откроется вкладка браузера с обзором набора данных Capital Project Tracker. Он предоставляет ценную информацию, например, как часто обновляется набор данных, когда он обновлялся в последний раз, а также описание каждого столбца в таблице .csv.
- Нажмите кнопку Экспорт.
Откроется окно Экспорт набора данных.
- В окне Экспорт набора данных нажмите Конечная точка API.
Примечание:
Количество строк, которые вы видите в этом и в других наборах данных этого руководства, может незначительно отличаться от представленных изображений из-за изменений в этом наборе данных с течением времени.
Конечная точка API обеспечивает доступ к набору данных через URL-адрес.
Появится предупреждение. Это означает, что по умолчанию вы сможете получить доступ только к 1000 строкам из этого набора данных, содержащего 2542 строки. Позже вы увеличите это ограничение до 3000 строк.
Несмотря на то, что Data Pipelines принимает форматы данных JSON, вы измените формат данных на .csv.
- В качестве Формата данных выберите CSV.
Далее вы скопируете URL-адрес этого набора данных.
- Щелкните Скопировать в буфер обмена.
Теперь вы добавите эту таблицу .csv в свой конвейер данных в качестве входного Публичного URL.
- На панели инструментов Редактор нажмите Входные данные. На панели Входные данные в разделе Файл выберите Публичный URL.
Примечание:
Чтобы увидеть названия кнопок на панели инструментов Редактор, нажмите кнопку Развернуть в нижней части панели инструментов.
Появится окно Добавить URL-адрес.
- Щелкните текстовое поле URL-адрес и нажмите Ctrl + V, чтобы вставить URL-адрес, скопированный с веб-сайта NYC OpenData.
Параметр Формат данных выбирается автоматически.
Этот URL-адрес имеет ограничение в 1000 строк из исходного набора данных. Чтобы обойти это ограничение, вы добавите параметр URL-адреса к существующему URL-адресу, чтобы увеличить ограничение до 3000 строк. Вы увеличиваете ограничение до 3000 строк, поскольку в таблице 2542 строки. Ограничение в 3000 строк достаточно велико, чтобы соответствовать текущему размеру набора данных и позволить ему расти в будущем.
- Щелкните мышкой один раз в конце вставленного URL-адреса. Введите ?$limit=3000.
Первые входные параметры введены.
- Щёлкните Добавить.
Элемент Публичный URL будет добавлен на канву.
Имя элемента происходит от имени файла .csv, к которому вы получили доступ. Далее вы измените его имя.
- На панели действий Элемент нажмите кнопку Переименовать.
- В текстовом поле очистите весь текст, введите Capital Project Tracker и нажмите Enter. Разверните элемент так, чтобы имя было видно.
Поскольку элемент выбран на канве, панель Публичный URL открыта. Здесь вы можете настроить или перенастроить любой выбранный элемент на канве.
Теперь вы просмотрите добавленный набор данных.
- На панели Публичный URL нажмите Предварительный просмотр.
Появится окно Предварительный просмотр. В настоящее время отображается предварительный просмотр таблицы. Просматривая свои данные, вы узнаете, как они будут выглядеть при запуске конвейера данных.
Примечание:
Вы также можете просмотреть свои данные, нажав кнопку Предварительный просмотр на панели действий элемента.
В верхней части таблицы указано, что количество записей равно 2554. Это может не соответствовать количеству строк на веб-сайте OpenData. Если числа не совпадают, это связано с тем, что некоторые записи содержат символ, из-за которого запись состоит из нескольких строк. На панели Публичный URL вы можете это учесть.
- На панели Публичный URL включите параметр Имеет многострочные данные.
- Щелкните Предварительный просмотр.
Предварительный просмотр обновился. Количество записей теперь составляет 2542.
- Прокрутите таблицу, чтобы ознакомиться с данными, предоставленными NYC OpenData.
- Нажмите кнопку Предварительный просмотр карты.
Поскольку это всего лишь таблица и геометрия не была задана, предварительный просмотр карты недоступен. В следующем разделе вы сделаете доступным предварительный просмотр карты.
- Нажмите кнопку Схема.
Здесь перечислены все поля в наборе данных и их типы. На протяжении оставшейся части руководства вы будете использовать ряд этих полей для преобразования данных, включая currentphase, designstart, latitude и longitude.
- Нажмите кнопку Сообщения.
Если при предварительном просмотре набора данных были какие-либо предупреждения или ошибки, они будут перечислены здесь.
- Закройте окно предварительного просмотра.
Фильтр данных по атрибуту
Теперь, когда вы добавили таблицу .csv в конвейер данных, вы воспользуетесь элементом инструмента для фильтрации набора данных, чтобы отображались только те проекты капитального строительства, текущая фаза которых — construction, и которые имеют неверные значения широты и долготы.
- На панели инструментов Редактор нажмите Инструменты.
Появится панель Инструменты. Перечисленные по категориям инструменты позволяют управлять наборами данных в конвейере данных. Вы добавите инструмент Фильтр по атрибуту, чтобы удалить любую строку, текущая фаза которой не является construction. Вы также отфильтруете все строки, у которых значение широты или долготы равно 0.
- На панели Инструменты в разделе Очистить нажмите Фильтр по атрибуту.
Элемент добавляется на канву. Его необходимо подключить к существующему элементу, содержащему данные. Затем его необходимо настроить.
- Переместите элемент Фильтр по атрибуту справа от элемента Публичный URL.
- На панели Фильтр по атрибуту в разделе Входной набор данных щелкните Набор данных. В окне Выбрать набор данных выберите Capital Project Tracker.
Два элемента связаны. Данные будут поступать из файла .csv в инструмент Фильтр по атрибуту при запуске конвейера данных.
Примечание:
Вы также можете соединить элементы в конвейере данных, перетащив указатель от выходного порта одного элемента к входному порту другого элемента.
Далее вы настроите фильтр так, чтобы он исключал любые записи со значением широты или долготы равным 0 и отображал только те строки, которые имеют текущее значение фазы construction.
- На панели Фильтр по атрибуту нажмите Построить новый запрос.
Появляется окно Конструктор запросов.
- Убедитесь, что выбрано Выражение, и нажмите Далее.
- Для первого выражения установите поле latitude и установите оператор не равно. Для значения введите 0.
- Щёлкните кнопку Выражение.
- Напишите второе выражение, в котором longitude не равно 0.
- Добавьте еще одно выражение и пусть оно запросит строки, где currentphase равно construction.
Примечание:
Для значения можно использовать раскрывающийся список, чтобы выбрать значение, а не вводить его.
- Щёлкните Добавить.
Далее вы просмотрите результаты.
- На панели Фильтр по атрибуту нажмите Предварительный просмотр.
Появится окно предварительного просмотра. Под заголовком этой таблицы указано количество записей. Ранее в ней было более 2500 записей. Теперь, благодаря примененным вами фильтрам, их меньше 200.
- Прокрутите таблицу и обратите внимание на значения полей latitude, longitude и currentphase.
Эти значения соответствуют критериям вашего запроса.
- Закройте окно предварительного просмотра.
Когда элемент инструмента был добавлен на канву, ему было присвоено имя по умолчанию Фильтр по атрибуту. Вы измените его имя, чтобы сделать его более значимым.
- На панели действий Элемент нажмите Переименовать и введите Фильтр для этапа строительства. Измените размер элемента так, чтобы имя было видно.
Прежде чем добавлять дополнительные элементы, сохраните конвейер данных.
- На панели инструментов Редактор нажмите Сохранить и открыть и выберите Сохранить как.
Появится окно Сохранить конвейер данных.
- В поле Название введите Конвейер данных Проекты капитального строительства.
- Щелкните Сохранить.
Конвейер данных сохранен.
Создание точечной геометрии
Далее вы будете использовать столбцы широты и долготы в отфильтрованном наборе данных, чтобы предоставить этому набору данных геометрию, которую можно будет просмотреть на карте.
- На панели инструментов Редактор нажмите Инструменты. На панели Инструменты в разделе Построить нажмите Создать геометрию.
Элемент Создать геометрию будет добавлен на канву.
- Переместите элемент Создать геометрию справа от элемента Фильтр по атрибуту.
- Щелкните и перетащите курсор из выходного порта элемента Фильтр по атрибуту во входной порт элемента Создать геометрию.
Два элемента соединены. Далее вы настроите элемент Создать геометрию. Поскольку эта таблица содержит значения широты и долготы, вы можете создать точечную геометрию.
- На панели Создать геометрию в качестве Типа геометрии выберите Точка. В качестве Формата геометрии выберите XYZ.
Появляются дополнительные параметры. Эти параметры используются для определения того, какие поля в вашей таблице содержат значения X, Y и Z. В вашем наборе данных нет значений Z; этот параметр использоваться не будет.
- В Поле X выберите longitude. В Поле Y выберите latitude.
- Щелкните Предварительный просмотр.
- В окне предварительного просмотра нажмите кнопку Предварительный просмотр карты.
Местоположения проекта капитального строительства видны на карте. Вы можете щелкнуть на объекты, чтобы увидеть их атрибуты во всплывающем окне.
- Закройте окно предварительного просмотра.
Данные точек проекта
Ваши точки были созданы со значениями широты и долготы с использованием географической системы координат WGS 1984. Это не идеальная система координат для Нью-Йорка. Вы перепроецируете свои данные в более подходящую систему координат.
Примечание:
Если вы не знакомы с системами координат, прочтите Системы координат: в чем разница.
- На панели инструментов Редактор нажмите Инструменты. На панели Инструменты в разделе Формат нажмите Проецировать геометрию.
Элемент Проецировать геометрию будет добавлен на канву.
- Переместите элемент Проецировать геометрию справа от элемента Создать геометрию.
- Щелкните и перетащите курсор из выходного порта элемента Создать геометрию во входной порт элемента Проецировать геометрию.
Два элемента соединены. Далее вы настроите элемент Проецировать геометрию.
- На панели Проецировать геометрию для параметра Пространственная привязка нажмите Просмотр систем координат.
В качестве системы координат проекции вы будете использовать NAD 1983 (2011) StatePlane New York Long Isl FIPS 3104 (Метры). Ее ID номер 6538.
- В окне Обзор систем координат в поле поиска введите 6538. Выберите NAD 1983 (2011) StatePlane New York Long Isl FIPS 3104 (Метры).
- Щелкните Готово.
Вычисление нового поля
На последнем этапе подготовки исходного набора входных данных вы вычислите значения в новом поле. Набор данных содержит поле designstart. В нем указано, когда изначально начался каждый проект. Вы вычислите дополнительное поле, определяющее количество времени, прошедшее с момента начала каждого проекта в годах и днях.
- На панели инструментов Редактор нажмите Инструменты. На панели Инструменты в разделе Построить нажмите Вычислить поле.
Элемент Вычислить поле добавляется на канву.
- Переместите элемент Вычислить поле справа от элемента Проецировать геометрию.
- Щелкните и перетащите курсор из выходного порта элемента Проецировать геометрию во входной порт элемента Вычислить поле.
Два элемента соединены. Далее вы настроите элемент Вычислить поле. Вы начнете с присвоения новому полю имени.
- На панели Вычислить поле в Имя нового поля введите Elapsed_Time.
Примечание:
Имена полей не могут содержать специальные символы, например пробелы.
Далее вы выберете необходимый тип поля. Поскольку это поле будет содержать текстовые и числовые символы, оно должно быть строковым.
- Для Типа нового поля выберите Строка.
Далее вы напишете выражение для вычисления поля. Этот инструмент использует выражения ArcGIS Arcade для вычисления полей.
Примечание:
Чтобы узнать больше о ArcGIS Arcade, прочитайте Обучение ArcGIS Arcade за четыре простых шага.
- В разделе Выражение Arcade нажмите Создать выражение Arcade.
Появится окно Выражение Arcade. Здесь вы можете написать выражения Arcade для вычисления значений полей. Вы скопируете и вставите код, который возвращает количество лет и дней с момента начала разработки проекта капитального строительства.
- В окне Выражение Arcade очистите пример кода.
- Скопируйте и вставьте следующий код в окно Выражение Arcade:
//Convert time between 2 fields to count years and days //Determine the total number of days var TotalDays = DateDiff(now(), $record.designstart, "days") //Determine the number of days var RemainderDays = Floor(TotalDays % 365) //Determine the number of years var RemainderYears = Floor(DateDiff(now(), $record.designstart, "years")) //Format the final text to account for year(s) and day(s) if(RemainderYears == 1 && RemainderDays == 1){ return RemainderYears + " year and " + RemainderDays + " day" } else if (RemainderYears == 1 && RemainderDays != 1){ return RemainderYears + " year and " + RemainderDays + " days" } else if (RemainderYears != 1 && RemainderDays == 1){ return RemainderYears + " years and " + RemainderDays + " day" } else{ return RemainderYears + " years and " + RemainderDays + " days" }
Желаемый формат этого вычисления: X лет и Y дней. Для этого выражение сначала определяет количество дней с момента начала проектирования проекта капитального строительства. Поскольку количество дней может быть больше одного года, код делит количество дней на 365 и возвращает значение остатка. Выражение возвращает значение Y в желаемом формате. Затем выражение вычисляет количество лет с момента начала проекта. Это значение X в желаемом формате. Последняя часть выражения, начиная со строки 12, форматирует текст лет и дней, чтобы сделать их в единственном или множественном числе в зависимости от количества дней или лет с момента начала проектирования.
- Щелкните Сохранить.
Поле Elapsed_Time добавляется в таблицу и вычисляется.
- На панели Вычислить поле нажмите Предварительный просмотр.
- В окне предварительного просмотра прокрутите до поля Elapsed_Time.
Для каждого проекта в понятном формате фиксируется количество лет и дней с момента начала проекта.
- Закройте окно предварительного просмотра.
Вы переименуете этот элемент, чтобы уточнить поле, которое он рассчитывает.
- Переименуйте элемент Вычислить поле в Вычислить прошедшее время.
- Разверните элемент так, чтобы было видно его полное имя.
Наконец, вы сохраните свой конвейер данных.
- На панели инструментов Редактор нажмите Сохранить и открыть и выберите Сохранить.
На данный момент вы добавили таблицу .csv и начали преобразовывать данные проектов капитального строительства. Вы также отфильтровали данные, присвоили им точечную геометрию с использованием координат, перепроецировали их в соответствующую систему координат и вычислили поле, чтобы указать время, прошедшее с момента создания проекта.
Выполнение пространственных соединений
На этом этапе данные проекта капитального строительства добавлены и частично отформатированы, но этим данным все еще требуются атрибуты из других наборов данных. Для каждого проекта капитального строительства вам необходимо определить, к какой области прогнозирования численности населения (NTA) и округу они относятся. Как области прогнозирования численности населения (NTA), так и округа существуют в виде общедоступных наборов полигональных данных. Вы добавите эти два набора данных в свой конвейер данных и воспользуетесь пространственными соединениями, чтобы добавить названия областей NTA и округов к каждому проекту капитального строительства.
Добавление слоя GeoJSON в качестве входных данных
Сначала вы добавите набор данных с областями прогнозирования численности населения в свой конвейер данных. Он доступен на веб-сайте NYC OpenData в формате GeoJSON.
- Откройте страницу NYC OpenData для набора данных 2020 Neighborhood Tabulation Areas (NTAs) - Tabular.
Откроется вкладка браузера с обзором набора данных 2020 Neighborhood Tabulation Areas (NTAs) - Tabular. Как и набор данных Capital Project Tracker, на этой странице представлен обзор набора данных и информация о частоте его обновления.
- Нажмите кнопку Экспорт.
Откроется окно Экспорт набора данных. Поскольку этот набор данных содержит менее 1000 строк, вам не нужно будет переходить на URL-адрес, как вы это сделали с набором данных Capital Project Tracker.
- В окне Экспорт набора данных нажмите Конечная точка API.
Примечание:
Количество строк, которые вы видите в этом наборе данных, может отличаться от изображения выше из-за изменений в этом наборе данных с течением времени.
Указанный формат по умолчанию — JSON; однако, чтобы добавить этот набор данных в конвейер данных и создать полигональную геометрию, разумнее использовать формат GeoJSON.
- В качестве Формата данных выберите GeoJSON.
Далее вы скопируете URL-адрес этого набора данных.
- Щелкните Скопировать в буфер обмена.
Вы добавите этот GeoJSON в свой конвейер данных в качестве входного Публичного URL.
- В Редакторе Конвейеров данных на панели инструментов Редактор нажмите Входные данные. На панели Входные данные в разделе Файл выберите Публичный URL.
Появится окно Добавить URL-адрес.
- В качестве URL-адреса вставьте URL-адрес, скопированный с веб-сайта NYC OpenData.
Параметр Формат данных выбирается автоматически.
- Щёлкните Добавить.
Элемент Public URL будет добавлен на канву.
Опять же, название не интуитивно понятное. Вы переименуете этот элемент.
- Переименуйте элемент Публичный URL в Области прогнозирования численности населения.
- Измените размер элемента Публичный URL, чтобы было видно его полное имя.
- Переместите элемент под элемент Проецировать геометрию.
Далее вы просмотрите добавленный набор данных.
- На панели Публичный URL нажмите Предварительный просмотр.
В окне предварительного просмотра просмотрите поля, предоставленные в этом наборе данных. Поле ntaname — это атрибут, который вы добавите к слою точек столичных проектов с помощью пространственного соединения.
- Нажмите кнопку Предварительный просмотр карты.
Появится карта, на которой области будут нарисованы в виде полигонов.
- Закройте окно предварительного просмотра.
Проецировать полигональные данные
Как и точки проекта капитального строительства, GeoJSON областей NTA использует географическую систему координат WGS 1984. Поэтому вы добавите еще один инструмент Проецировать геометрию, чтобы cпроецировать области в ту же зону плановых координат, которую вы использовали для местоположений проекта капитального строительства. Чтобы сэкономить время, вы скопируете существующий элемент Проецировать геометрию.
- На канве выберите элемент Проецировать геометрию.
- Нажмите Ctrl + C, чтобы скопировать элемент.
- Нажмите Ctrl + V, чтобы вставить элемент на канву.
- Переместите элемент Проецировать геометрию справа от элемента Общедоступный URL-адрес для Областей прогнозирования численности населения.
- Щелкните и перетащите курсор из выходного порта элемента Публичный URL во входной порт элемента Проецировать геометрию.
Два элемента соединены. Поскольку вы скопировали этот элемент, система координат уже выбрана. Теперь набор данных областей NTA использует правильную систему координат.
Пространственное соединение проектов капитального строительства и областей NTA
Теперь, когда оба ваших набора данных используют одну и ту же систему координат, вы добавите пространственное соединение в свой конвейер данных. Это пространственное соединение определит, в какую область попадает каждая точка проекта капитального строительства, и добавит атрибуты областей к точке проекта капитального строительства.
- На панели инструментов Редактор нажмите Инструменты. На панели Инструменты в разделе Интеграция нажмите Присоединить.
Элемент Присоединить добавляется на канву.
- Переместите элемент Присоединить справа от элементов Вычислить поле и Проецировать геометрию.
Далее вы соедините элементы Вычислить поле и Проецировать геометрию с элементом Присоединить. Элемент Присоединить имеет два входных порта. Верхний входной порт предназначен для целевого набора данных. Целевой набор данных — это набор данных, к которому будут добавлены дополнительные атрибуты. Нижний входной порт предназначен для набора данных присоединения. Это набор данных, атрибуты которого будут присоединены к целевому набору данных. В этом случае вы хотите, чтобы проекты капитального строительства получили атрибуты из набора данных об областях NTA. Следовательно, элемент Вычислить поле является целевым набором данных и будет подключен к верхнему входному порту.
- Щелкните и перетащите от выходного порта элемента Вычислить поле к верхнему входному порту элемента Присоединить. Щелкните и перетащите из выходного порта элемента Проецировать геометрию к нижнему входному порту элемента Присоединить.
Два входных элемента соединены с элементом Присоединить. На панели Присоединить Целевой набор данных и Набор данных присоединения заполняются на основе связанных вами элементов.
Далее вы настроите элемент Присоединить для использования пространственных отношений.
- На панели Присоединить в разделе Пространственные отношения включите параметр Использовать пространственное отношение.
Появляются дополнительные параметры. Параметры Целевая геометрия и Геометрия присоединения заполняются автоматически. Но вам все еще необходимо выбрать параметр Пространственное отношение. Это определяет способ соединения целевого набора данных и присоединяемого набора данных. Поскольку точки проекта капитального строительства попадают в полигоны областей NTA, вы будете использовать отношение Пересекает.
- Для параметра Пространственное отношение выберите Пересекает.
- Щелкните Предварительный просмотр.
Появится окно предварительного просмотра. Этот набор данных по-прежнему представляет точки проекта капитального строительства. При предварительном просмотре таблицы поля, которые изначально появляются, относятся к точкам проекта капитального строительства.
- В предварительном просмотре таблицы прокрутите ее до конца и найдите поле ntaname.
Поля в конце таблицы — это поля из областей NTA. Теперь для каждого столичного проекта вы знаете область NTA, в которой он находится.
По мере того, как вы выполняете больше соединений, количество полей становится громоздким, b многие из этих полей не нужны участникам проекта. Позднее вы удалите ненужные атрибутивные поля.
- Закройте окно предварительного просмотра.
В следующем разделе вы добавите второе пространственное соединение. Чтобы избежать путаницы, вы переименуете первый элемент Присоединить.
- Переименуйте элемент Присоединить в Присоединить области NTA.
Добавьте векторный слой в качестве входного
Некоторые участники потребовали, чтобы окончательный результат также содержал информацию об округе, в пределах которого находится каждый проект капитального строительства. Для этого вы будете использовать другой элемент Присоединить, но сначала вам понадобится набор полигональных данных, содержащий округа. Вместо использования входного элемента Публичный URL вы добавите входной элемент Векторный слой, поскольку этот набор данных находится в ArcGIS Online.
- На панели инструментов Редактор нажмите Входные данные. На панели Входные данные в разделе ArcGIS выберите Векторный слой.
Появится окно Выбрать векторный слой. Вы можете добавлять наборы данных из разных мест, таких как ArcGIS Living Atlas или принадлежащий вам ресурс в ArcGIS Online.
- Щелкните Мои ресурсы и выберите ArcGIS Online.
Далее вы будете искать общедоступный набор данных, содержащий округа Нью-Йорка.
- В поле поиска введите New York City Community District.
- Прокрутите вниз и найдите слой Community District, принадлежащий Владельцу данных.
Поскольку векторные слои могут содержать несколько подслоев, вы выберете подслой CommunityDistrict для добавления в конвейер данных.
- Для векторного слоя Community District щелкните Выбрать слой. Выберите CommunityDistrict.
- Щелкните Добавить.
Элемент Векторный слой добавляется на канву.
- Переместите элемент Векторный слой под элемент Проецировать геометрию для набора данных областей NTA.
Далее вы просмотрите добавленный набор данных.
- На панели Векторный слой щелкните Предварительный просмотр.
- Пролистайте таблицу предварительного просмотра. Найдите поле COMMDIST.
Поле COMMDIST — это атрибут, который вы добавите к слою точек проектов капитального строительства с помощью пространственного соединения.
- Нажмите кнопку Предварительный просмотр карты.
Появится карта, на которой округа будут отображены в виде полигонов.
- Закройте окно предварительного просмотра.
Проецирование векторного слоя
Добавленный вами объект использует систему координат проекции Web Mercator (auxiliary sphere). Чтобы обеспечить точность данных, вы спроецируете этот векторный слой так, чтобы он использовал ту же систему координат, что и перепроецированные точки проекта капитального строительства.
- На канве выберите один из элементов Проецировать геометрию.
- Нажмите Ctrl + C, чтобы скопировать элемент.
- Нажмите Ctrl + V, чтобы вставить элемент на канву.
- Переместите элемент Проецировать геометрию справа от элемента Векторный слой.
- Щелкните и перетащите из выходного порта элемента Векторный слой во входной порт элемента Проецировать геометрию.
Два элемента соединены. Теперь набор данных округов использует правильную систему координат.
Пространственно соедините проекты капитального строительства и округа.
Теперь, когда набор данных округов спроецирован, вы выполните второе пространственное соединение, чтобы определить, к какому округу относится каждый проект капитального строительства.
- На панели инструментов Редактор нажмите Инструменты. На панели Инструменты в разделе Интеграция нажмите Присоединить.
Элемент Присоединить добавляется на канву.
- Переместите элемент Присоединить справа от элементов Присоединить и Проецировать геометрию.
Далее вы соедините элементы первый Присоединить и Проецировать геометрию с элементом второй Присоединить. Первый элемент Присоединить будет параметром целевого набора данных, а элемент Проецировать геометрию будет параметром набора данных присоединения.
- Щелкните и перетащите от выходного порта элемента первый Присоединить к верхнему входному порту элемента второй Присоединить. Щелкните и перетащите из выходного порта элемента Проецировать геометрию к нижнему входному порту элемента второй Присоединить.
Далее вы настроите второй элемент Присоединить для использования пространственного отношения.
- На панели Присоединить в разделе Пространственное отношение включите параметр Использовать пространственное отношение.
- Для параметра Пространственное отношение выберите Пересекает.
- Щелкните Предварительный просмотр.
Появится окно предварительного просмотра.
- В предварительном просмотре таблицы прокрутите ее до конца.
Первые поля, которые вы видите, взяты из набора данных проектов капитального строительства. Далее вы видите поля из набора данных областей NTA. Наконец, в конце таблицы вы видите поля из набора данных округов. Теперь каждый проект капитального строительства имеет информацию об округе, в который он входит.
- Закройте окно предварительного просмотра.
Поскольку на канве есть еще один элемент Присоединить, для ясности вы переименуете этот второй элемент Присоединить.
- Переименуйте второй элемент Присоединить в Присоединение округов. Измените размер элемента так, чтобы полное имя элемента было видно.
- Сохраните свой конвейер данных.
В этом модуле вы добавили два общедоступных полигональных слоя с атрибутами, которые вы хотели добавить в набор данных проектов капитального строительства. Один набор данных — это GeoJSON с площадки NYC OpenData, а другой — векторный слой из ArcGIS Online. Затем вы спроецировали оба набора данных и пространственно соединили их с набором данных проектов капитального строительства.
Очистка данных
После добавления данных и их пространственного соединения у вас есть все атрибуты, запрошенные заинтересованными сторонами в различных департаментах. Однако существует множество других полей, которые не нужны и затрудняют навигацию по таблице атрибутов. Кроме того, некоторые из запрошенных полей имеют имена, которые трудно интерпретировать.
Далее вы очистите атрибуты перед записью результатов в выходной набор данных.
Выбрать поля
Сначала вы выберете только те поля, которые интересны участникам проекта. Сюда входят несколько полей из набора данных проектов капитального строительства, вычисленное вами поле Time_Elapsed, поле ntaname и поле COMMDIST.
- На панели инструментов Редактор нажмите Инструменты. На панели Инструменты в разделе Очистить нажмите Выбрать поля.
Элемент Выбрать поля добавляется на канву.
- Переместите элемент Выбрать поля справа от элемента второй Присоединить.
Далее вы соедините элементы Присоединить и Выбрать поле.
- Щелкните и перетащите от выходного порта элемента Присоединить к входному порту элемента Выбрать поля.
Далее вы выберете поля, которые будет содержать выходной набор данных.
- На панели Выбрать поля в разделе Поля нажмите Поле.
Появится окно Выбрать поля. Вы выберете поля, которые представляют интерес для участников проекта. Вы также выберете поле GEOMETRY. Это поле необходимо для того, чтобы вы могли отображать выходной набор данных в виде точек. В противном случае выходными данными будет непространственный векторный слой или размещенная таблица.
- В окне Выбрать поля выберите следующие поля:
- fmsid
- currentphase
- GEOMETRY
- Elapsed_Time
- ntaname
- COMMDIST
- Щелкните Готово.
- На панели Выбрать поля нажмите Предварительный просмотр.
Появится окно предварительного просмотра.
Вместо огромного количества полей ваш выходной набор данных будет содержать только те шесть полей, которые были запрошены участниками проекта.
- Нажмите кнопку Предварительный просмотр карты.
Поскольку вы включили поле GEOMETRY в выбранные поля, отображается карта точек проектов капитального строительства.
- Закройте окно предварительного просмотра.
Обновить поля
Теперь, когда у вас есть поля, представляющие интерес для участников проекта, вы измените некоторые их имена, чтобы сделать их более читабельными.
- На панели инструментов Редактор нажмите Инструменты. На панели Инструменты в разделе Очистить нажмите Обновить поля.
Элемент Обновить поля добавляется на канву.
- Переместите элемент Обновить поля справа от элемента Выбрать поля.
Далее вы соедините элементы Выбрать поле и Обновить поле.
- Щелкните и перетащите курсор от выходного порта элемента Выбрать поле к входному порту элемента Обновить поля.
Далее вы выберете поля, которые хотите обновить, и настроите их. При обновлении полей вы можете обновить их имя и тип. Вы обновите имена трех полей.
Первое поле, которое вы обновите, поле fmsid. Это поле создано из набора данных Capital Project Tracker и содержит идентификационный номер проекта.
- На панели Обновить поля в разделе Обновления для поля Поля для обновления выберите fmsid.
Далее вы укажете обновленное имя для этого поля.
- Для Имя нового поля введите Project_ID.
Примечание:
Как и в случае с инструментом Вычислить поле, имена полей не могут содержать специальные символы, например пробелы.
Первое поле было обновлено. Вы обновите еще два поля: поля ntaname и COMMDIST.
Примечание:
Если вы хотите изменить тип поля, например, строку на целое число, вы можете сделать это, используя параметр Новый тип поля.
- Щелкните Добавить.
- Для Поле для обновления выберите ntaname. Для Имя нового поля введите Neighborhood.
- Щелкните Добавить.
- Для Поле для обновления выберите COMMDIST. Для Имя нового поля введите Community.
- Щелкните Предварительный просмотр.
В предварительном просмотре таблицы обновлены заголовки столбцов. Заголовки полей вашей таблицы интуитивно более понятны для заинтересованных сторон.
- Закройте окно предварительного просмотра.
Создание выходного векторного слоя
На данный момент ваш конвейер данных принимает и преобразует ваши данные. На последнем этапе эти данные будут загружены в векторный слой.
- На панели инструментов Редактор нажмите Выходные данные. На панели Выходные данные в разделе ArcGIS щелкните Векторный слой.
Элемент Векторный слой добавляется на канву.
- Переместите элемент Векторный слой справа от элемента Обновить поля.
Далее вы соедините элементы Обновить поля и Векторный слой.
- Щелкните и перетащите курсор от выходного порта элемента Обновить поля к входному порту элемента Векторный слой.
Далее вы настроите выходные параметры для создаваемого векторного слоя. В ArcGIS Data Pipelines возможно, чтобы выходные данные заменили существующий векторный слой или добавили и обновили объекты в существующем векторном слое.
- На панели Векторный слой в разделе Выходные настройки убедитесь, что для Метода записи выходных данных установлено значение Создать.
Далее вы дадите векторному слою имя.
- Для Выходное имя введите Проекты капитального строительства DPR.
- Щелкните Предварительный просмотр.
То, что вы видите в окне предварительного просмотра, — это то, что будет записано в ваш векторный слой при запуске конвейера данных.
- Закройте окно предварительного просмотра.
- Измените размер элемента Векторный слой, чтобы было видно его полное имя.
Ваш конвейер данных готов.
Если элементы вашего конвейера данных неорганизованны, кнопка Автокомпоновка схемы меняет положение элементов, чтобы лучше видеть поток входных данных, инструментов и выходных данных.
- На панели действий Канва щелкните Автокомпоновка схемы.
Расположение элементов на канве будет изменено.
- Сохраните свой конвейер данных.
В этом разделе вы очистили данные, созданные в результате предыдущих пространственных соединений. Вы удалили ненужные поля и переименовали поля, названия которых не были интуитивно понятными. Наконец, вы настроили конвейер данных для записи выходного набора данных в векторный слой в ArcGIS Onlineвашей организации.
Просмотр результатов
Далее вы запустите созданный вами конвейер данных и изучите результаты. Затем вы настроите конвейер данных на автоматический запуск по расписанию, чтобы информация в ArcGIS Online оставалась актуальной.
Запуск конвейера данных
Теперь, когда ваш конвейер данных готов, вы запустите его для создания векторного слоя.
- На панели действий Канва щелкните Запустить.
Появится окно Информация о последнем запуске, в котором будет открыта вкладка Информация о запуске. В этом окне отображается информация о ходе работы конвейера данных. Оно также отображает любые предупреждения или ошибки, возникающие во время работы.
После завершения работы конвейера данных вы изучите свои результаты. Обработка занимает около минуты.
- В окне Информация о последнем запуске перейдите на вкладку Выходные результаты.
На этой вкладке перечислены все выходные данные, созданные конвейером данных. В списке появится векторный слой DPR Capital Projects.
Далее вы просмотрите сведения об элементе вашего векторного слоя и опубликуете его в своей организации.
- Для слоя DPR Capital Projects щелкните Параметры и выберите Просмотреть подробную информацию.
Откроется вкладка браузера на странице подробной информации об элементе DPR Capital Projects.
На этой странице представлена информация о векторном слое, созданном конвейером данных. Затем вы поделитесь результатами со своей организацией.
- Нажмите на кнопку Общий доступ.
Откроется окно Общий доступ.
- В окне Общий доступ для опции Установка уровня общего доступа выберите Организация.
- Щелкните Сохранить.
Слой DPR Capital Projects теперь доступен вашей организации и доступен другим пользователям. Когда конвейер данных заработает, он обновит этот векторный слой для всех, кто добавит его на карты или в приложения.
Примечание:
Когда вы создаете конвейер данных, он сохраняется как элемент в вашей учетной записи ArcGIS Online. Этот элемент не обязательно должен быть доступен вашей организации, чтобы пользователи могли получить доступ к выходному векторному слою конвейера данных.
Далее вы просмотрите результат на карте.
- Щелкните Открыть в Map Viewer.
Откроется карта и будет добавлен векторный слой DPR Capital Projects.
- Щелкните одну из точек.
Появится всплывающее окно с атрибутами, которые вы указали в конвейере данных.
Этот набор данных доступен для обозначения символами, анализа и дальнейшей настройки для веб-карт и приложений участниками проекта.
Обновление конвейера данных
Ваш конвейер данных работал успешно, и теперь у вас есть векторный слой, представляющий DPR Capital Projects. Однако исходные данные регулярно обновляются, и участники проекта хотят, чтобы в их веб-картах и приложениях отражалась самая свежая информация. Вы обновите выходной элемент Векторный слой, чтобы заменять векторный слой DPR Capital Projects каждый раз при запуске конвейера данных в будущем.
Примечание:
Если вашей организации необходимо запустить Data Pipelines только один раз, обновлять элемент Векторный слой нет необходимости.
- В Редакторе конвейера данных закройте окно Информация о последнем запуске.
- На канве щелкните элемент Векторный слой, представляющий выходной векторный слой.
- На панели Векторный слой в разделе Настройки выходных данных измените Метод записи выходных данных на Заменить.
Появится параметр Векторный слой. Этот параметр сообщает конвейеру данных, какой векторный слой в вашей организации следует заменить при запуске конвейера данных в будущем.
- Для Векторный слой щелкните Выбрать слой.
Появится окно Выбрать векторный слой. Вы выберете векторный слой, который хотите заменить.
Внимание:
Будьте осторожны при выборе векторного слоя для замены. Если вы выберете неправильный векторный слой, данные могут быть безвозвратно потеряны.
- Найдите векторный слой DPR Capital Projects. Щелкните Выбрать слой и выберите DPR Capital Projects.
- Щелкните Подтвердить.
Теперь, когда конвейер данных снова запустится в будущем, он перезапишет существующий векторный слой и позволит избежать ошибок.
- Сохраните конвейер данных.
Запланировать запуск конвейера данных
Поскольку входные наборы данных могут быть изменены, вы запланируете автоматический запуск конвейера данных в будущем.
- Щелкните ArcGIS Data Pipelines.
- Щелкните Управление расписанием.
Далее вы создадите задачу. Задача позволяет вам контролировать частоту запуска конвейера данных.
- Нажмите Создать задачу.
Появится окно Создать задачу. Здесь вы выберете созданный вами конвейер данных.
- Выберите Конвейер данных Проекты капитального строительства.
- Щелкните Далее.
Вы запланируете автоматический запуск конвейера данных, что позволит вам насыщать целевой векторный слой самой свежей информацией. Планирование запуска конвейера данных требует кредитов, как и работа в редакторе. Поскольку это учебное пособие, вы запустите этот конвейер данных только один раз, чтобы сэкономить кредиты. Однако в производственной среде вы можете настроить запуск ежемесячно, ежедневно или чаще в зависимости от того, как часто обновляются ваши входные наборы данных.
Сначала вы зададите этой задаче название.
- В поле Название введите Обновление проектов капитального строительства DPR.
Этот конвейер данных будет запускаться каждые 15 минут.
- Для Тип повтора выберите Минута. Для Интервал повтора оставьте значение по умолчанию 15 минут.
Далее вы убедитесь, что конвейер данных запускается только один раз.
- Для параметра Окончание выберите После количества запусков. Для Количество запусков введите 1.
Примечание:
Дополнительные сведения о планировании задач см. в статье Планирование задачи конвейера данных.
- Щелкните Сохранить.
Задача видна и сообщает вам, когда она будет запущена в следующий раз.
Примечание:
Если вы хотите отредактировать, приостановить или удалить задачу, нажмите кнопку Параметры в конце таблицы. Кроме того, вы можете щелкнуть ссылку, чтобы просмотреть или отредактировать конвейер данных.
После запуска задачи вы можете просмотреть историю ее выполнения.
- Щелкните задачу Обновление проектов капитального строительства DPR.
На панели Запуск задачи отображаются задачи и статусы завершенных запусков. Зеленая галочка означает, что запуск выполнен успешно. Красный шестиугольник указывает на то, что запуск не удался.
В разделе Выходные результаты показан обзор результатов конвейера данных.
В этом руководстве вы создали конвейер данных для интеграции данных из различных динамических источников, добавили дополнительные атрибуты, удалили лишние атрибуты, переименовали поля и записали результаты в векторный слой. Вы настроили конвейер данных на автоматический запуск по расписанию. Настроив конвейер данных, вы можете пропустить утомительный процесс ручного управления данными и обновления векторных слоев каждый раз, когда происходит изменение исходных данных.
Вы можете найти больше учебных пособий в галерее учебных пособий.