На вкладке браузера откроется галерея, показывающая все имеющиеся у вас конвейеры данных.

Появится Редактор Конвейеров данных

Эта среда редактирования позволяет добавлять входные данные, предоставляет доступ к инструментам преобразования данных и записывать обработанные данные в векторный слой.

Откроется вкладка браузера с обзором набора данных Capital Project Tracker. Она содержит ценную информацию, например, о том, как часто обновляется набор данных, когда он обновлялся в последний раз, а также описание каждого столбца в таблице .csv.

Откроется окно Экспорт набора данных.

Когда вы нажимаете кнопку Конечная точка API, Формат экспорта переключается в JSON. Конечная точка API обеспечивает доступ к набору данных через URL-адрес.

Пока Data Pipelines принимает форматы данных JSON, вы измените формат на CSV.

Далее вы скопируете URL-адрес этого набора данных.

Теперь вы добавите эту таблицу .csv в свой конвейер данных в качестве входного URL.

Появится окно Добавить URL-адрес.

Параметр Формат ответа выбран автоматически.

На канву будет добавлен элемент URL.

Имя элемента формируется на основе названия .csvтаблицы, к которой вы обращались. Далее вы измените его имя.

Поскольку этот элемент выбран на канве, панель URL будет открытой. Здесь вы можете настроить или перенастроить любой выбранный элемент на канве.

Далее вы просмотрите добавленный набор данных.

Появится окно Capital Project Tracker. В настоящее время отображается предварительный просмотр таблицы. Просматривая свои данные, вы узнаете, как они будут выглядеть при запуске конвейера данных.

В верхней части таблицы указано, что количество записей равно 1006. Это может не соответствовать количеству строк на веб-сайте OpenData. Если числа не совпадают, это связано с тем, что некоторые записи содержат символ, из-за которого запись состоит из нескольких строк. На панели URL вы можете это учесть.

Предварительный просмотр обновился. Теперь число записей равно 1000.

Поскольку это всего лишь таблица и геометрия не была задана, предварительный просмотр карты недоступен. В следующем разделе вы сделаете доступным предварительный просмотр карты.

Здесь перечислены все поля в наборе данных и их типы. На протяжении оставшейся части руководства вы будете использовать ряд этих полей для преобразования данных, включая currentphase, designstart, latitude и longitude.

Если при предварительном просмотре набора данных были какие-либо предупреждения или ошибки, они будут перечислены здесь.

Появится панель Инструменты. Перечисленные по категориям инструменты позволяют управлять наборами данных в конвейере данных. Вы добавите инструмент Фильтр по атрибуту, чтобы удалить любую строку, текущая фаза которой не является construction. Вы также отфильтруете все строки, у которых значение широты или долготы равно 0.

Элемент добавляется на канву. Его необходимо подключить к существующему элементу, содержащему данные и настроить.

Два элемента соединены. Данные будут поступать из файла .csv в инструмент Фильтр по атрибуту во время работы конвейера данных.

Далее вы настроите фильтр так, чтобы он исключал любые записи со значением широты или долготы равным 0 и отображал только те строки, которые имеют текущее значение фазы construction.

Появляется окно Конструктор запросов.

Далее вы добавите еще одно выражение для обозначения долготы.

Появится окно предварительного просмотра. Под заголовком этой таблицы указано количество записей. Ранее в ней было более 1000 записей. Теперь, благодаря примененным вами фильтрам, их меньше 100.

Эти значения соответствуют критериям вашего запроса.

Когда элемент инструмента был добавлен на канву, ему было присвоено имя по умолчанию Фильтр по атрибуту. Вы измените его имя, чтобы сделать его более значимым.

Прежде чем добавить больше элементов, сохраните конвейер данных.

Появится окно Сохранить конвейер данных.

Конвейер обработки данных сохранен, и заголовок отображается над Панель инструментов.

Элемент Создать геометрию теперь добавлен на канву и появляется соответствующая ему панель.

Два элемента соединены. Далее вы настроите элемент Создать геометрию. Поскольку эта таблица содержит значения широты и долготы, вы можете создать точечную геометрию.

Появляются дополнительные параметры. Эти параметры используются для определения того, какие поля в вашей таблице содержат значения X, Y и Z. В вашем наборе данных нет значений Z; этот параметр использоваться не будет.

Местоположение объектов капитального строительства показано на карте. Вы можете щелкнуть по элементам, чтобы увидеть их характеристики во всплывающем окне.

Элемент Проецировать геометрию будет добавлен на канву.

Два элемента соединены. Далее вы настроите элемент Проецировать геометрию.

Откроется окно Просмотр систем координат.

В качестве системы координат проекции вы будете использовать NAD 1983 (2011) StatePlane New York Long Isl FIPS 3104 (Метры). Ее ID номер 6538.

Пространственная привязка данных будет спроецирована в более подходящую систему координат.

Элемент Вычислить поле добавляется на канву.

Два элемента соединены. Далее вы настроите элемент Вычислить поле. Вы начнете с присвоения новому полю имени.

Далее вы напишете выражение для вычисления поля. Этот инструмент использует выражения ArcGIS Arcade для вычисления полей.

Появится окно Выражение Arcade. Здесь вы можете написать выражения Arcade для вычисления значений полей. Вы скопируете и вставите код, который возвращает количество лет и дней с момента начала разработки проекта капитального строительства.

//Convert time between 2 fields to count years and days 

//Determine the total number of days
var TotalDays = DateDiff(now(), $record.designstart, "days")

//Determine the number of days
var RemainderDays = Floor(TotalDays % 365)

//Determine the number of years
var RemainderYears = Floor(DateDiff(now(), $record.designstart, "years"))

//Format the final text to account for year(s) and day(s)
if(RemainderYears == 1 && RemainderDays == 1){
  return RemainderYears + " year and " + RemainderDays + " day"
}
else if (RemainderYears == 1 && RemainderDays != 1){
  return RemainderYears + " year and " + RemainderDays + " days"
}
else if (RemainderYears != 1 && RemainderDays == 1){
  return RemainderYears + " years and " + RemainderDays + " day"
}
else{
  return RemainderYears + " years and " + RemainderDays + " days"
}

Желаемый формат этого вычисления: X лет и Y дней. Для этого выражение сначала определяет количество дней с момента начала проектирования проекта капитального строительства. Поскольку количество дней может быть больше одного года, код делит количество дней на 365 и возвращает значение остатка. Выражение возвращает значение Y в желаемом формате. Затем выражение вычисляет количество лет с момента начала проекта. Это значение X в желаемом формате. Последняя часть выражения, начиная со строки 12, форматирует текст лет и дней, чтобы сделать их в единственном или множественном числе в зависимости от количества дней или лет с момента начала проектирования.

Поле Elapsed_Time добавляется в таблицу и вычисляется.

Для каждого проекта в понятном формате фиксируется количество лет и дней с момента начала проекта.

Вы переименуете этот элемент, чтобы уточнить поле, которое он рассчитывает.

Наконец, вы сохраните свой конвейер данных.

Откроется вкладка браузера с обзором набора данных 2020 Neighborhood Tabulation Areas (NTAs) - Tabular. Как и набор данных Capital Project Tracker, на этой странице представлен обзор набора данных и информация о частоте его обновления.

Откроется окно Экспорт набора данных. Поскольку этот набор данных содержит менее 1000 строк, вам не нужно будет переходить на URL-адрес, как вы это сделали с набором данных Capital Project Tracker.

• Нажмите Конечная точка API.
• В качестве Формата данных выберите GeoJSON.
• Для параметра Версия, выберите SODA2.

Как и в случае с предыдущим файлом .csv, скопируйте URL-адрес этого набора данных, чтобы добавить его в свой проект.

Появится окно Добавить URL-адрес.

Параметр Формат ответа автоматически устанавливается в значение GeoJSON.

Элемент URL добавляется на канву.

Однако, название неинтуитивно, поэтому вам придётся переименовать этот элемент.

Далее вы просмотрите добавленный набор данных.

В окне предварительного просмотра просмотрите поля, предоставленные в этом наборе данных. Поле ntaname — это атрибут, который вы добавите к слою точек столичных проектов с помощью пространственного соединения.

Появится карта, на которой области будут нарисованы в виде полигонов.

Два элемента соединены. Поскольку вы скопировали этот элемент, система координат уже выбрана. Теперь набор данных областей NTA использует правильную систему координат.

Элемент Присоединить добавляется на канву.

Далее вы соедините элементы Вычислить поле и Проецировать геометрию с элементом Присоединить. Элемент Присоединить имеет два входных порта. Верхний входной порт предназначен для целевого набора данных. Целевой набор данных — это набор данных, к которому будут добавлены дополнительные атрибуты. Нижний входной порт предназначен для набора данных присоединения. Это набор данных, атрибуты которого будут присоединены к целевому набору данных. В этом случае вы хотите, чтобы проекты капитального строительства получили атрибуты из набора данных об областях NTA. Следовательно, элемент Вычислить поле является целевым набором данных и будет подключен к верхнему входному порту.

Два входных элемента соединены с элементом Присоединить. На панели Присоединить поля Целевой набор данных и Набор данных присоединения заполняются на основе связанных вами элементов.

Далее вы настроите элемент Присоединить для использования пространственных отношений.

Появляются дополнительные параметры. Параметры Целевая геометрия и Геометрия присоединения заполняются автоматически. Но вам все еще необходимо выбрать параметр Пространственное отношение. Это определяет способ соединения целевого набора данных и присоединяемого набора данных. Поскольку точки проекта капитального строительства попадают в полигоны областей NTA, вы будете использовать отношение Пересекает.

Появится окно предварительного просмотра. Этот набор данных по-прежнему представляет точки проекта капитального строительства. При предварительном просмотре таблицы поля, которые изначально появляются, относятся к точкам проекта капитального строительства.

Поля в конце таблицы — это поля из областей NTA. Теперь для каждого столичного проекта вы знаете область NTA, в которой он находится.

По мере того, как вы выполняете больше соединений, количество полей становится громоздким, b многие из этих полей не нужны участникам проекта. Позднее вы удалите ненужные атрибутивные поля.

В следующем разделе вы добавите второе пространственное соединение. Чтобы избежать путаницы, вы переименуете первый элемент Присоединить.

Отображается страница с подробными сведениями об элементе слоя NYC_Community_Districts.

Далее вы добавите слой объектов к своему контенту, используя скопированный вами URL-адрес.

Теперь у вас есть функциональный слой в вашем контенте, который вы можете добавить в свой конвейер обработки данных.

В окне Выберите слой объектов отображается папка Мой контент, содержащая слой NYC_Community_Districts.

Элемент Векторный слой добавляется на канву.

Поле BoroCD — это атрибут, который вы добавите к слою точек проектов капитального строительства с помощью пространственного соединения.

Появится карта, на которой округа будут отображены в виде полигонов.

Два элемента соединены. Теперь набор данных округов использует правильную систему координат.

Элемент Присоединить добавляется на канву.

Далее вы соедините элементы первый Присоединить и Проецировать геометрию с элементом второй Присоединить. Первый элемент Присоединить будет параметром целевого набора данных, а элемент Проецировать геометрию будет параметром набора данных присоединения.

Далее вы настроите второй элемент Присоединить для использования пространственного отношения.

Появится окно предварительного просмотра.

Первые поля, которые вы видите, взяты из набора данных проектов капитального строительства. Далее вы видите поля из набора данных областей NTA. Наконец, в конце таблицы вы видите поля из набора данных округов. Теперь каждый проект капитального строительства имеет информацию об округе, в который он входит.

Поскольку на канве есть еще один элемент Присоединить, для ясности вы переименуете этот второй элемент Присоединить.

Элемент Выбрать поля добавляется на канву.

Далее вы соедините элементы Присоединить и Выбрать поля.

Далее вы выберете поля, которые будет содержать выходной набор данных.

Появится окно Выбрать поля. Вы выберете поля, которые представляют интерес для участников проекта. Вы также выберете поле GEOMETRY. Это поле необходимо для того, чтобы вы могли отображать выходной набор данных в виде точек. В противном случае выходными данными будет непространственный векторный слой или размещенная таблица.

• fmsid
• currentphase
• GEOMETRY
• Elapsed_Time
• ntaname
• BoroCD

Перечислены поля, которые будут включены в выходные данные.

Появится окно предварительного просмотра.

Вместо огромного количества полей ваш выходной набор данных будет содержать только те шесть полей, которые были запрошены участниками проекта.

Поскольку вы включили поле GEOMETRY в выбранные поля, отображается карта точек проектов капитального строительства.

Элемент Обновить поля добавляется на канву.

Далее вы соедините элементы Выбрать поля и Обновить поля.

Далее вы выберете поля, которые хотите обновить, и настроите их. При обновлении полей вы можете обновить их имя и тип. Вы обновите имена трех полей.

Первое поле, которое вы обновите, поле fmsid. Это поле создано из набора данных Capital Project Tracker и содержит идентификационный номер проекта.

Появится окно Выбрать поле. Вы выберете поле, которое хотите обновить.

Далее вы укажете обновленное имя для этого поля.

Первое поле было обновлено. Вам нужно будет обновить еще два поля: ntaname и BoroCD.

Далее вы добавите больше полей для обновления.

Отобразились три поля, которые вы указали для обновления.

В предварительном просмотре таблицы обновлены заголовки столбцов. Заголовки полей вашей таблицы интуитивно более понятны для заинтересованных сторон.

Элемент Векторный слой добавляется на канву.

Далее вы соедините элементы Обновить поля и Векторный слой.

Далее вы настроите выходные параметры для создаваемого векторного слоя. В ArcGIS Data Pipelines возможно, чтобы выходные данные заменили существующий векторный слой или добавили и обновили объекты в существующем векторном слое.

• В Настройка вывода, убедитесь, что для параметра Метод вывода установлено значение Создать.
• Для Выходное имя введите Проекты капитального строительства DPR.

То, что вы видите в окне предварительного просмотра, — это то, что будет записано в ваш векторный слой при запуске конвейера данных.

Ваш конвейер данных готов.

Если элементы вашего конвейера данных неорганизованны, кнопка Автокомпоновка схемы меняет положение элементов, чтобы лучше видеть поток входных данных, инструментов и выходных данных.

Расположение элементов на канве будет изменено.

Появится окно Информация о последнем запуске, в котором будет открыта вкладка Информация о запуске. В этом окне отображается информация о ходе работы конвейера данных. Оно также отображает любые предупреждения или ошибки, возникающие во время работы.

После завершения работы конвейера данных вы изучите свои результаты. Обработка занимает около минуты.

На этой вкладке перечислены все выходные данные, созданные конвейером данных. В списке появится векторный слой DPR Capital Projects.

Далее вы просмотрите сведения об элементе вашего векторного слоя и опубликуете его в своей организации.

Откроется вкладка браузера на странице подробной информации об элементе DPR Capital Projects.

На этой странице представлена ​​информация о векторном слое, созданном конвейером данных. Затем вы поделитесь результатами со своей организацией.

Откроется окно Общий доступ.

Слой DPR Capital Projects теперь доступен вашей организации и доступен другим пользователям. Когда конвейер данных заработает, он обновит этот векторный слой для всех, кто добавит его на карты или в приложения.

Далее вы просмотрите результат на карте.

Откроется карта и будет добавлен векторный слой DPR Capital Projects.

Появится всплывающее окно с атрибутами, которые вы указали в конвейере данных.

Этот набор данных доступен для обозначения символами, анализа и дальнейшей настройки для веб-карт и приложений участниками проекта.

Появится параметр Векторный слой. Этот параметр сообщает конвейеру данных, какой векторный слой в вашей организации следует заменить при запуске конвейера данных в будущем.

Теперь когда конвейер обработки данных включен, в будущем он сам перезапишет текущие данные слоя объектов, что позволит избежать ошибок.

Далее вы создадите задачу. Задача позволяет вам контролировать частоту запуска конвейера данных.

Появится окно Создать задачу. Здесь вы выберете созданный вами конвейер данных.

Вы запланируете автоматический запуск конвейера данных, что позволит вам насыщать целевой векторный слой самой свежей информацией. В производственной среде вы можете настроить запуск ежемесячно, ежедневно или чаще в зависимости от того, как часто обновляются ваши входные наборы данных.

Сначала вы зададите этой задаче название.

Этот конвейер данных будет запускаться каждые 15 минут.

Далее вы убедитесь, что конвейер данных запускается только один раз.

Задача видна и сообщает вам, когда она будет запущена в следующий раз.

После запуска задачи вы можете просмотреть историю ее выполнения.

На панели Запуск задачи отображаются задачи и статусы завершенных запусков. Зеленая галочка означает, что запуск выполнен успешно. Красный шестиугольник указывает на то, что запуск не удался.

Под разделом Выходные результаты отображаются данные результата конвейера данных.

Вы можете видеть, что данные были заменены в соответствии с вашими указаниями.