构建数据管道

要创建利益相关者请求的最终数据集,您的数据管道需要通过启用位置、移除不必要的属性以及计算新字段来变换数据。

您将添加包含有关资本项目信息的初始表格、过滤数据集、使用坐标创建其几何、重新投影数据并计算字段。

创建数据管道

首先,您需要登录到 ArcGIS Online 并创建一个空的数据管道。

  1. 登录到您的 ArcGIS 组织帐户
    注:

    如果您没有组织帐户,请参阅软件访问权限选项

  2. 在功能区上,单击应用程序启动器按钮。 选择数据管道

    “数据管道”按钮

    浏览器选项卡将打开至一个图库,其中显示了您拥有的任何现有数据管道。

  3. 单击创建数据管道

    “创建数据管道”按钮

    随即出现数据管道编辑器。 在此编辑环境中,可以添加数据输入、提供对数据变换工具的访问权限以及将经过处理的数据写入要素图层。

    数据管道编辑器

    当您在数据管道编辑器中积极工作时,您将连接到计算资源,如“连接详细信息”对话框所示。

    “连接详细信息”对话框

    注:

    使用 ArcGIS Data Pipelines 将消耗配额。 当编辑器页面的状态为已连接时,将使用配额。 有关配额消耗和 ArcGIS Data Pipelines 的详细信息,请参阅数据管道是否消耗配额计算资源

添加 CSV 表格作为输入

打开数据管道编辑器后,即可添加第一个输入数据集。 即 DPR 的资本项目表格。 由于此表格经常更新,因此已导出的表格很快将会过时。 因此,您将直接从源访问 .csv 表格。

  1. 打开 Capital Project Tracker 数据集的 New York City OpenData (NYC OpenData) 页面。

    浏览器选项卡将打开至 Capital Project Tracker 数据集的概览。 其中提供了有价值的信息,例如数据集的更新频率、上次更新时间以及 .csv 表中每列的描述。

    Capital Project Tracker 概览页面

  2. 单击导出按钮。

    “导出”按钮

    导出数据集窗口随即出现。

  3. 导出数据集窗口中,单击 API 端点

    “API 端点”按钮

    注:

    由于此数据集随时间发生变化,因此您在本教程中看到的此数据集和其他数据集的行数可能与所提供的图像略有不同。

    API 端点允许通过 URL 访问数据集。

    随即显示一条警告。 该警告指示,默认情况下,您只能访问此数据集中的 1000 行,而此数据集共包含 2542 行。 稍后,您需要将此限制增大为 3000 行。

    警告指示已超出默认 API 限制

    虽然 Data Pipelines 接受 JSON 数据格式,但您需要将数据格式更改为 .csv

  4. 对于数据格式,选择 CSV

    “数据格式”选项

    接下来,您需要复制此数据集的 URL。

  5. 单击复制到剪贴板

    “复制到剪贴板”按钮

    现在,您需要将此 .csv 表格添加至数据管道作为公共 URL 输入。

  6. 编辑器工具栏中,单击输入。 在输入窗格中的文件下,选择公共 URL

    “公共 URL”选项

    注:

    要查看编​​辑器工具栏中按钮的名称,请单击工具栏底部的展开按钮。

    添加 URL 窗口随即出现。

  7. 单击 URL 文本框,然后按 Ctrl + V 以粘贴从 NYC OpenData 网站复制的 URL。

    URL 参数

    将自动选择数据格式参数。

    此 URL 对源数据集的行数限制为 1000 行。 要解决此限制,需要向现有 URL 添加一个 URL 参数,以将其限制增大为 3000 行。 由于表格包含 2542 行,因此您需要将限制增大为 3000 行。 3000 行限制足够大,可以容纳数据集的当前大小,并允许其在未来继续增长。

  8. 单击已粘贴的 URL 末尾一次。 键入 ?$limit=3000

    更新后的 URL 限制为 3000 行

    第一个输入已完成。

  9. 单击添加

    随即将公共 URL 元素添加至画布。

    第一个输入元素

    该元素的名称源自您访问的 .csv 的名称。 接下来,您将更改其名称。

  10. 元素操作栏上,单击重命名按钮。

    “重命名”按钮

  11. 在文本框中,清除所有文本并键入 Capital Project Tracker,然后按 Enter 键。 展开该元素以使名称可见。

    已重命名的元素

    由于已在画布中选择该元素,因此公共 URL 窗格已打开。 可以在此处配置或重新配置画布上的任何所选元素。

    “公共 URL”窗格

    现在,您将预览已添加的数据集。

  12. 公共 URL 窗格中,单击预览

    “预览”按钮

    预览窗口随即出现。 它目前正在显示表格预览。 通过预览数据,您将了解在运行数据管道时数据的外观。

    注:

    您也可以通过单击元素操作栏上的预览按钮来预览数据。

    表格顶部指示记录数量为 2554 条。 这可能与 OpenData 网站上的行数不匹配。 如果数值不匹配,则是因为某些记录包含特定字符,这些字段导致记录跨多行。 在公共 URL 面板中,可以对此进行说明。

    表格预览

  13. 公共 URL 窗格中,打开具有多行数据

    “具有多行数据”参数

  14. 单击预览

    预览随即进行刷新。 记录数量现在为 2542 条。

    预览记录数量

  15. 滚动表格以观察 NYC OpenData 提供的数据。
  16. 单击地图预览按钮。

    “地图预览”按钮

    由于这只是一个表格并且未定义任何几何,因此地图预览不可用。 您可以在后续部分中预览地图。

  17. 单击方案按钮。

    “方案”按钮

    由此将列出数据集中的所有字段及其字段类型。 在本教程的剩余部分中,您将使用其中一些字段来变换数据,其中包括 currentphasedesignstartlatitudelongitude

    数据集的方案

  18. 单击消息按钮。

    “消息”按钮

    如果预览数据集中存在任何警告或错误,则将在此处列出。

  19. 关闭预览窗口。

按属性过滤数据

.csv 表格添加至数据管道后,即可使用工具元素来过滤数据集,以仅显示当前阶段为建造并且纬度值和经度值不正确的资本项目。

  1. 编辑器工具栏上,单击工具

    “工具”按钮

    随即显示工具窗格。 按类别列出的工具用于操作数据管道中的数据集。 您将添加按属性过滤工具以移除当前阶段不是建造的任何行。 您也将过滤掉纬度值或经度值为 0 的所有行。

  2. 工具面板中的清理下,单击按属性过滤

    “按属性过滤”工具

    随即将元素添加至画布。 其需要连接至包含数据的现有元素。 然后,需要对其进行配置。

  3. 按属性过滤元素移至公共 URL 元素的右侧。

    “按属性过滤”元素

  4. 按属性过滤窗格中的输入数据集下,单击数据集。 在选择数据集窗口中,选择 Capital Project Tracker

    Capital Project Tracker 选项

    随即连接两个元素。 当数据管道运行时,数据将从 .csv 文件流入按属性过滤工具中。

    已连接“公共 URL”元素和“将按属性过滤”元素

    注:

    您也可以通过将指针从一个元素的输出端口拖动至另一个元素的输入端口来连接数据管道中的元素。

    接下来,您将配置过滤器以排除纬度或经度的值为 0 的任何记录,并且仅显示当前阶段值为建造的行。

  5. 按属性过滤窗格中,单击构建新查询

    “构建新查询”按钮

    查询构建器窗口随即出现。

  6. 确保表达式处于选中状态,然后单击下一步

    “表达式”选项

  7. 对于第一个表达式,将字段设置为 latitude 并将运算符设置为 does not equal。 对于值,键入 0

    第一个表达式

  8. 单击表达式按钮。

    “表达式”按钮

  9. 编写第二个表达式:where longitude does not equal 0

    第二个表达式

  10. 添加另一个表达式并将其设置为查询 currentphase equals construction 的行。
    注:

    对于值,可以使用下拉列表以选择一个值,而非键入值。

    第三个表达式

  11. 单击添加

    接下来,您将预览结果。

  12. 按属性过滤窗格中,单击预览

    预览窗口随即出现。 此表标题下方是记录数量的计数。 此前,记录数量已超过 2500 条。 现在,由于已应用过滤器,记录数量小于 200 条。

  13. 滚动表格并观察 latitudelongitudecurrentphase 字段的值。

    这些值符合您的查询条件。

  14. 关闭预览窗口。

    将工具元素添加至画布后,将为其提供默认名称 Filter by attribute。 您将更改其名称以使其更有意义。

  15. 元素操作栏上,单击重命名并键入 Filter for Construction Phase。 调整元素的大小以使名称可见。

    已重命名的过滤器元素

    在添加其他元素之前,您需要保存数据管道。

  16. 编辑器工具栏上,单击保存并打开,然后选择另存为

    另存为选项

    保存数据管道窗口随即出现。

  17. 对于标题,键入 Capital Projects Data Pipeline

    Data pipeline 标题

  18. 单击保存

    随即保存数据管道。

创建点几何

接下来,您将使用已过滤数据集中的纬度和经度列为此数据集提供可在地图上查看的几何。

  1. 编辑器工具栏上,单击工具。 在工具窗格中的构造下,单击创建几何

    随即将创建几何元素添加至画布。

  2. 创建几何元素移至按属性过滤元素的右侧。

    “创建几何”元素

  3. 单击并从按属性过滤元素的输出端口拖动到创建几何元素的输入端口。

    已连接“将按属性过滤”和“创建几何”元素

    随即连接两个元素。 接下来,您将配置创建几何元素。 由于此表包含纬度值和经度值,因此您可以创建点几何。

  4. 创建几何窗格中,对于几何类型,选择。 对于几何格式,选择 XYZ

    “几何类型”和“几何格式”参数

    随即显示其他参数。 这些参数用于确定表中包含 X、Y 和 Z 值的字段。 由于您的数据集没有 Z 值,因此将不会使用此参数。

  5. 对于 X 字段,选择 longitude。 对于 Y 字段,选择 latitude

    “X 字段”和“Y 字段”参数

  6. 单击预览
  7. 在预览窗口中,单击地图预览按钮。

    资本项目的位置在地图上可见。 可以单击要素以在弹出窗口中查看其属性。

    地图上的资本项目位置

  8. 关闭预览窗口。

投影点数据

您的点是使用 WGS 1984 地理坐标系通过纬度值和经度值创建的。 对于纽约市来说,这不是一个理想的坐标系。 您需要将数据投影到更加合适的坐标系中。

注:

如果您不熟悉坐标系,请参阅坐标系:有何区别

  1. 编辑器工具栏上,单击工具。 在工具窗格中的格式下,单击投影几何

    随即将投影几何元素添加至画布。

  2. 投影几何元素移至创建几何元素的右侧。
  3. 单击并从创建几何元素的输出端口拖动到投影几何元素的输入端口。

    已连接“创建几何”和“投影几何”元素

    随即连接两个元素。 接下来,您将配置投影几何元素。

  4. 投影几何窗格中,对于空间参考,单击浏览坐标系

    “空间参考”参数

    对于投影坐标系,您将使用 NAD 1983 (2011) StatePlane New York Long Isl FIPS 3104 (Meters)。 其 ID 编号为 6538

  5. 浏览坐标系窗口的搜索框中键入 6538。 选择 NAD 1983 (2011) StatePlane New York Long Isl FIPS 3104 (Meters)

    “浏览坐标系”窗口

  6. 单击完成

计算新字段

作为准备初始输入数据集的最后一步,您将计算一个新字段。 该数据集包含 designstart 字段。 用于记录了每个项目最初开始的时间。 您需要计算一个附加字段,该字段用于确定每个项目自开始以来的年数和天数。

  1. 编辑器工具栏上,单击工具。 在工具窗格中的构造下,单击计算字段

    随即将计算字段元素添加至画布。

  2. 计算字段元素移至投影几何元素的右侧。
  3. 单击并从投影几何元素的输出端口拖动到计算字段元素的输入端口。

    已连接“投影几何”和“计算字段”元素

    随即连接两个元素。 接下来,您将配置计算字段元素。 首先,您需要为新字段提供一个名称。

  4. 计算字段窗格中,对于新字段名称,键入 Elapsed_Time

    “新字段名称”参数

    注:

    字段名称不能包含特殊字符,例如空格。

    接下来,您需要选择该字段的类型。 由于此字段将包含文本和数字字符,因此其必须为字符串字段。

  5. 对于新字段类型,选择 String

    “新字段类型”参数

    接下来,您将编写一个表达式以计算该字段。 此工具将使用 ArcGIS Arcade 表达式来计算字段。

    注:

    有关 ArcGIS Arcade 的详细信息,请参阅通过四个简单步骤学习 ArcGIS Arcade

  6. Arcade 表达式下,单击编写 Arcade 表达式

    “编写 Arcade 表达式”按钮

    Arcade 表达式窗口随即显示。 您可以在此处编写 Arcade 表达式以计算字段值。 您将复制粘贴代码,该代码将返回自资本项目设计开始以来的年数和天数。

    Arcade 表达式窗口

  7. Arcade 表达式窗口中,清除示例代码。
  8. 将以下代码复制粘贴到 Arcade 表达式窗口中:

    //Convert time between 2 fields to count years and days 
    
    //Determine the total number of days
    var TotalDays = DateDiff(now(), $record.designstart, "days")
    
    //Determine the number of days
    var RemainderDays = Floor(TotalDays % 365)
    
    //Determine the number of years
    var RemainderYears = Floor(DateDiff(now(), $record.designstart, "years"))
    
    //Format the final text to account for year(s) and day(s)
    if(RemainderYears == 1 && RemainderDays == 1){
      return RemainderYears + " year and " + RemainderDays + " day"
    }
    else if (RemainderYears == 1 && RemainderDays != 1){
      return RemainderYears + " year and " + RemainderDays + " days"
    }
    else if (RemainderYears != 1 && RemainderDays == 1){
      return RemainderYears + " years and " + RemainderDays + " day"
    }
    else{
      return RemainderYears + " years and " + RemainderDays + " days"
    }

    Arcade 表达式

    此计算的所需格式为 X years and Y days。 为此,表达式将首先确定自资本项目设计开始以来的天数。 由于天数可能超过一年,因此该代码将天数除以 365 并返回余数。 由此将以所需格式返回 Y 值。 然后,该表达式将计算自项目开始以来的年数。 即所需格式的 X 值。 表达式的最后一部分从第 12 行开始,此部分将根据自设计开始以来的天数或年数,将年数天数文本格式化为单数形式或复数形式。

  9. 单击保存

    Elapsed_Time 字段随即添加至表中并对其进行计算。

  10. 计算字段窗格中,单击预览
  11. 在预览窗口中,滚动到 Elapsed_Time 字段。

    Elapsed_Time 字段

    对于每个项目,将以易于理解的格式记录自项目开始以来的年数和天数。

  12. 关闭预览窗口。

    您将重命名此元素以明确指示其计算的字段。

  13. 计算字段元素重命名为计算历时
  14. 展开该元素以使其全名可见。

    已更新“计算字段”元素

    最后,您将保存数据通道。

  15. 编辑器工具栏上,单击保存并打开,然后选择保存

到目前为止,您已经添加了 .csv 表格并开始变换资本项目数据。 您还过滤了数据,使用坐标为其提供了点几何,将其重新投影到了合适的坐标系,并计算了一个字段以提供自项目设计以来经过的时间。


执行空间连接

目前,已添加并部分格式化了资本项目数据,但仍需要来自其他数据集的属性。 对于每个资本项目,您需要确定其所属的街区统计区域和社区分区。 街区统计区域和社区分区均作为公开可用的面数据集存在。 您需要将这两个数据集添加至数据管道,然后使用空间连接将街区和分区名称附加至每个资本项目。

添加 GeoJSON 作为输入

首先,您需要将街区统计区域数据集添加至数据管道。 将在 NYC OpenData 网站上以 GeoJSON 格式提供。

  1. 打开 2020 Neighborhood Tabulation Areas (NTAs) - Tabular 数据集的 NYC OpenData 页面。

    浏览器选项卡将打开至 2020 Neighborhood Tabulation Areas (NTAs) - Tabular 数据集的概览。 与 Capital Project Tracker 数据集一样,此页面提供了数据集的概览及其更新频率。

    Neighborhood Tabulation Areas 概览页面

  2. 单击导出按钮。

    “导出”按钮

    导出数据集窗口随即出现。 由于此数据集包含的行数小于 1000,因此您无需像对 Capital Project Tracker 数据集那样更改为 URL。

  3. 导出数据集窗口中,单击 API 端点

    “API 端点”按钮

    注:

    由于此数据集随时间发生变化,因此您在此数据集中看到的行数可能与上图有所不同。

    默认列出的格式为 JSON;但是,要将此数据集添加至数据管道并创建面几何,使用 GeoJSON 格式更有意义。

  4. 对于数据格式,选择 GeoJSON

    GeoJSON 选项

    接下来,您需要复制此数据集的 URL。

  5. 单击复制到剪贴板

    您需要将此 GeoJSON 添加至数据管道作为公共 URL 输入。

  6. 在数据管道编辑器中的编辑器工具栏中,单击输入。 在输入窗格中的文件下,选择公共 URL

    “公共 URL”选项

    添加 URL 窗口随即出现。

  7. 对于 URL,粘贴已从 NYC OpenData 网站复制的 URL。

    URL 参数

    将自动选择数据格式参数。

  8. 单击添加

    随即将公共 URL 元素添加至画布。

    第二个输入元素

    同样,其名称不够直观。 您需要重命名此元素。

  9. 公共 URL 元素重命名为街区统计区域
  10. 调整公共 URL 元素的大小以使其全名可见。
  11. 将该元素移至投影几何元素下方。

    Neighborhood Tabulation Areas 数据集

    接下来,您将预览已添加的数据集。

  12. 公共 URL 窗格中,单击预览

    “预览”窗口

    在预览窗口中,观察此数据集提供的字段。 ntaname 字段是您将使用空间连接添加至资本项目点图层的属性。

  13. 单击地图预览按钮。

    随即显示一张地图,其中街区绘制为面。

    地图预览

  14. 关闭预览窗口。

投影面数据

与资本项目点一样,街区 GeoJSON 使用 WGS 1984 地理坐标系。 因此,您需要添加另一个投影几何工具,以将街区投影到用于资本项目位置的同一州平面区域。 为了节省时间,您将复制现有投影几何元素。

  1. 在画布上,选择投影几何元素。
  2. 按下 Ctrl + C 以复制该元素。
  3. Ctrl + V 以将该元素粘贴到画布上。
  4. 投影几何元素移至街区统计区域公共 URL 元素的右侧。

    投影几何元素

  5. 单击并从公共 URL 元素的输出端口拖动到投影几何元素的输入端口。

    已连接“公共 URL”和“投影几何”元素

    随即连接两个元素。 由于您已复制此元素,因此坐标系已处于选中状态。 现在,街区数据集使用了正确的坐标系。

在空间上连接资本项目和街区

当两个数据集均使用相同的坐标系后,即可向数据管道添加空间连接。 此空间连接将确定每个资本项目点所属的街区,并将街区属性添加至资本项目点。

  1. 编辑器工具栏上,单击工具。 在工具窗格中的集成下,单击连接

    随即将连接元素添加至画布。

  2. 连接元素移至计算字段投影几何元素的右侧。

    “连接”元素

    接下来,您需要将计算字段投影几何元素连接至连接元素。 连接元素具有两个输入端口。 上方输入端口用于目标数据集。 目标数据集是将向其添加附加属性的数据集。 下方输入端口用于连接数据集。 即将与目标数据集共享其属性的数据集。 在本例中,您希望资本项目接收来自街区数据集的属性。 因此,计算字段元素为目标数据集,其将连接至上方输入端口。

  3. 单击并从计算字段元素的输出端口拖动到连接元素的上方输入端口。 单击并从投影几何元素的输出端口拖动到连接元素的下方输入端口。

    已连接“计算字段”、“投影几何”和“连接”元素

    随即将两个输入元素连接至连接元素。 在连接面板中,将根据已链接的元素填充目标数据集连接数据集

    “目标数据集”和“连接数据集”参数

    接下来,您将设置连接元素以使用空间关系。

  4. 连接窗格中的空间关系下,打开使用空间关系

    “使用空间关系”参数

    随即显示其他参数。 目标几何连接几何参数已自动完成。 但是,您仍然需要选择空间关系。 其用于定义目标数据集和连接数据集的连接方式。 由于资本项目点位于街区面内,因此您将使用相交关系。

  5. 对于空间关系,选择相交

    “空间关系”参数

  6. 单击预览

    预览窗口随即出现。 此数据集继续代表资本项目点。 在表格预览中,最初显示的字段来自资本项目点。

  7. 在表格预览中,滚动至表格末尾并找到 ntaname 字段。

    ntaname 字段

    该表格最远端的字段​​是来自街区的字段。 现在,对于每个资本项目,已知其所属的街区。

    当您执行更多连接时,字段的数量将变得繁多,尤其是利益相关者并未请求其中许多字段。 稍后,您将移除不必要的属性字段。

  8. 关闭预览窗口。

    在下一部分中,您将添加第二个空间连接。 为了避免混淆,您需要重命名第一个连接元素。

  9. 连接元素重命名为街区连接

    已重命名的“连接”元素

添加要素图层作为输入

一些利益相关者要求最终输出还包含有关每个资本项目所属社区分区的信息。 为了实现这一点,您将使用另一个连接元素,但首先您需要包含社区分区的面数据集。 您将添加要素图层输入元素,因为此数据集位于 ArcGIS Online 中,而非使用公共 URL 输入元素。

  1. 编辑器工具栏中,单击输入。 在输入窗格中的 ArcGIS 下,选择要素图层

    “要素图层”选项

    选择要素图层窗口随即出现。 您可以添加来自各个位置的数据集,例如 ArcGIS Living Atlas 或者您在 ArcGIS Online 中拥有的内容。

  2. 单击我的内容并选择 ArcGIS Online

    ArcGIS Online 选项

    接下来,您将搜索来自纽约市的公开数据集,其中包含社区分区。

  3. 在搜索框中键入 New York City Community District
  4. 向下滚动并找到数据所有者拥有的 Community District 图层。

    Community District 要素图层

    由于要素图层可能包含多个子图层,因此您将选择 CommunityDistrict 子图层以添加至数据管道。

  5. 对于社区分区,单击选择图层。 选择 CommunityDistrict

    CommunityDistrict 子图层

  6. 单击添加

    随即将要素图层元素添加至画布。

  7. 要素图层元素移至街区数据集的投影几何元素下方。

    CommunityDistrict 要素图层元素

    接下来,您将预览已添加的数据集。

  8. 要素图层窗格中,单击预览
  9. 滚动预览表。 找到 COMMDIST 字段。

    COMMDIST 字段

    COMMDIST 字段是您将使用空间连接添加至资本项目点图层的属性。

  10. 单击地图预览按钮。

    随即显示一张地图,其中社区分区绘制为面。

    地图预览

  11. 关闭预览窗口。

投影要素图层

您已添加的要素将使用 Web Mercator(辅助球体)投影坐标系。 为了确保数据精度,您将投影此要素图层,使其使用与已重新投影的资本项目点相同的坐标系。

  1. 在画布上,选择投影几何元素之一。
  2. 按下 Ctrl + C 以复制该元素。
  3. Ctrl + V 以将该元素粘贴到画布上。
  4. 投影几何元素移至要素图层元素的右侧。
  5. 单击并从要素图层元素的输出端口拖动到投影几何元素的输入端口。

    已连接“要素图层”和“投影几何”元素

    随即连接两个元素。 现在,社区分区数据集使用了正确的坐标系。

在空间上连接资本项目和社区分区

投影社区分区数据集后,您将执行第二次空间连接以确定每个资本项目所属的社区分区。

  1. 编辑器工具栏上,单击工具。 在工具窗格中的集成下,单击连接

    随即将连接元素添加至画布。

  2. 连接元素移至第一个连接投影几何元素的右侧。

    “连接”元素

    接下来,您需要将第一个连接投影几何元素连接至第二个连接元素。 第一个连接元素将为目标数据集参数,投影几何元素将为连接数据集参数。

  3. 单击并从第一个连接元素的输出端口拖动到第二个连接元素的上方输入端口。 单击并从投影几何元素的输出端口拖动到第二个连接元素的下方输入端口。

    已连接“投影几何”和“连接”元素

    接下来,您将设置第二个连接元素以使用空间关系。

  4. 连接窗格中的空间关系下,打开使用空间关系
  5. 对于空间关系,选择相交

    “空间关系”参数

  6. 单击预览

    预览窗口随即出现。

  7. 在表格预览中,滚动至表格末尾。

    包含 COMMDIST 字段的表格预览

    您看到的第一个字段来自资本项目数据集。 接下来,您将看到来自街区数据集的字段。 最后,您可以在表格的末尾看到来自社区分区数据集的字段。 现在,每个资本项目都拥有其所属社区分区的信息。

  8. 关闭预览窗口。

    由于画布上存在另一个连接元素,因此为了清晰起见,您将重命名第二个连接元素。

  9. 将第二个连接元素重命名为社区分区连接。 调整元素的大小以其全名可见。

    已重命名的“连接”元素

  10. 保存数据管道。

在本模块中,您添加了两个带有属性的公共面图层,您希望将其添加至资本项目数据集。 一个数据集是来自 NYC OpenData 站点的 GeoJSON,另一个是来自 ArcGIS Online 的要素图层。 然后,您对两个数据集进行了投影,并在空间上将其连接至资本项目数据集。


清理数据

添加数据并在空间上连接该数据后,您将获得各个部门的利益相关者所请求的所有属性。 但是,仍然存在许多其他不必要的字段,这些字段导致属性表难以导航。 此外,一些请求的字段的名称难以解释。

接下来,在将结果写入输出数据集之前,您需要清理属性。

选择字段

首先,您将仅选择利益相关者感兴趣的字段。 其中包括来自资本项目数据集的多个字段、已计算的 Time_Elapsed 字段、ntaname 字段和 COMMDIST 字段。

  1. 编辑器工具栏上,单击工具。 在工具窗格中的清理下,单击选择字段

    选择字段元素随即被添加到画布中。

  2. 选择字段元素移至第二个连接元素的右侧。

    “选择字段”元素

    接下来,您将连接连接选择字段元素。

  3. 单击并从连接元素的输出端口拖动到选择字段元素的输入端口。

    已连接“连接”和“选择字段”元素

    接下来,您将选择希望输出数据集包含的字段。

  4. 选择字段窗格中的字段下,单击字段

    “字段”参数

    随即出现选择字段窗口。 您将选择利益相关者感兴趣的字段。 您还将选择 GEOMETRY 字段。 为了能够将输出数据集显示为点,此字段为必需字段。 否则,输出将为非空间要素图层或托管表。

  5. 选择字段窗口中,选择以下字段:
    • fmsid
    • currentphase
    • GEOMETRY
    • Elapsed_Time
    • ntaname
    • COMMDIST

    “选择字段”窗口

  6. 单击完成
  7. 选择字段窗格中,单击预览

    预览窗口随即出现。

    表格预览仅包含所选字段

    您的输出数据集将仅包含利益相关者请求的 6 个字段,而非包含大量字段。

  8. 单击地图预览按钮。

    资本项目点的地图

    由于您在所选字段中包含了 GEOMETRY 字段,因此可以看到资本项目点的地图。

  9. 关闭预览窗口。

更新字段

获得利益相关者感兴趣的字段后,您需要更改其中一些名称以使其更具可读性。

  1. 编辑器工具栏上,单击工具。 在工具窗格中的清理下,单击更新字段

    随即将更新字段元素添加至画布。

  2. 更新字段元素移至选择字段元素的右侧。

    “选择字段”元素

    接下来,您将连接选择字段更新字段元素。

  3. 单击并从选择字段元素的输出端口拖动到更新字段元素的输入端口。

    已连接“选择字段”和“更新字段”元素

    接下来,您将选择要更新的字段并对其进行配置。 当更新字段时,可以更新其名称和字段类型。 您将更新其中三个字段的名称。

    您将更新的第一个字段为 fmsid。 此字段源自 Capital Project Tracker 数据集,包含项目标识号。

  4. 更新字段窗格中的更新下,对于要更新的​​字段,选择 fmsid

    “要更新的​​字段”参数

    接下来,您需要为此字段提供已更新的名称。

  5. 对于新字段名称,键入 Project_ID

    “新字段名称”参数

    注:

    计算字段工具一样,字段名称不能包含特殊字符,例如空格。

    已更新第一个字段。 您将更新另外两个字段,即 ntanameCOMMDIST 字段。

    注:

    如果您希望更改字段的类型(如将字符串更改为整型),则可以使用新字段类型参数来执行此操作。

  6. 单击添加

    “添加”按钮

  7. 对于要更新的字段,选择 ntaname。 对于新字段名称,键入 Neighborhood

    街区属性的“要更新的字段”和“新字段名称”参数

  8. 单击添加
  9. 对于要更新的字段,选择 COMMDIST。 对于新字段名称,键入 Community

    社区分区属性的“要更新的字段”和“新字段名称”参数

  10. 单击预览

    在表格预览中,列标题已更新。 表格的字段标题对于利益相关者来说更加直观。

    具有已更新字段名称的表格

  11. 关闭预览窗口。

创建输出要素图层

到目前为止,您的数据管道已获取并变换数据。 作为最后一步,需要将此数据加载到要素图层中。

  1. 编辑器工具栏中,单击输出。 在输出窗格中的 ArcGIS 下,单击要素图层

    要素图层元素随即被添加到画布中。

  2. 要素图层元素移至更新字段元素的右侧。

    “要素图层”元素

    接下来,您将连接更新字段要素图层元素。

  3. 单击并从更新字段元素的输出端口拖动到要素图层元素的输入端口。

    已连接“更新字段”和“要素图层”元素

    接下来,您需要配置将创建的要素图层的输出设置。 在 ArcGIS Data Pipelines 中,您也可以使用输出替换现有要素图层或者在现有要素图层中添加并更新要素。

  4. 要素图层窗格中的输出设置下,确保输出方法设置为创建

    “输出方法”参数

    接下来,您需要为要素图层提供名称。

  5. 对于输出名称,键入 DPR Capital Projects

    “输出名称”参数

  6. 单击预览

    您在预览窗口中看到的内容即运行数据管道时将写入要素图层的内容。

  7. 关闭预览窗口。
  8. 调整要素图层元素的大小以使其全名可见。

    “要素图层”元素

    您的数据管道已完成。

    数据管道

    如果数据管道的元素布局混乱,请单击自动布局逻辑示意图按钮以重新定位元素,以便更加清晰地查看输入、工具和输出的流程。

  9. 画布操作栏上,单击自动布局逻辑示意图

    “自动布局逻辑示意图”按钮

    随即重新定位画布上的元素。

    已更新的数据管道布局

  10. 保存数据管道。

在本模块中,您清理了根据之前的空间连接创建的数据。 您移除了不必要的字段并对名称不直观的字段进行了重命名。 最后,您设置了数据管道以将输出数据集写入 ArcGIS Online 组织中的要素图层。


查看结果

接下来,您将运行已创建的数据管道并探索结果。 然后,您需要将数据管道设置为按计划自动运行,以使 ArcGIS Online 中的信息保持最新。

运行数据管道

数据管道完成后,您需要运行该数据管道以创建要素图层。

  1. 画布操作栏中,单击运行

    “运行”按钮

    最新的运行详细信息窗口随即出现并打开至运行详细信息选项卡。 当数据管道运行时,此窗口用于提供信息。 它还将显示处理过程中出现的任何警告或错误。

    “最新的运行详细信息”窗口

    数据管道完成后,您将探索结果。 处理大约需要一分钟。

  2. 最新的运行详细信息窗口中,单击输出结果选项卡。

    “输出结果”选项卡

    此选项卡将列出数据管道创建的所有输出。 将列出 DPR Capital Projects 要素图层。

    “输出结果”选项卡中列出了 DPR Capital Projects 要素图层

    接下来,您将查看要素图层的项目详细信息并与您的组织共享该要素图层。

  3. 对于 DPR Capital Projects 图层,单击选项并选择查看详细信息

    “查看详细信息”选项

    浏览器选项卡随即打开至 DPR Capital Projects 项目详细信息页面。

    项目详细信息页面

    此页面将提供有关数据管道创建的要素图层的信息。 接下来,您将与您的组织共享结果。

  4. 单击共享按钮。

    “共享”按钮

    将显示共享窗口。

  5. 共享窗口中,对于设置共享级别,选择组织

    “组织”选项

  6. 单击保存

    随即与您的组织共享 DPR Capital Projects 图层以供其他人访问。 当数据管道运行时,它将为将其添加至地图或应用程序的任何人更新此要素图层。

    注:

    当创建数据管道时,它将作为项目存储在您的 ArcGIS Online 帐户中。 用户无需与您的组织共享此项目,即可访问数据管道的输出要素图层。

    接下来,您将在地图上查看结果。

  7. 单击在 Map Viewer 中打开

    在 Map Viewer 中打开按钮

    地图随即打开并添加 DPR Capital Projects 要素图层。

    地图包含 DPR Capital Projects 要素图层

  8. 单击其中一个点。

    弹出窗口随即出现,其中包含您在数据管道中指定的属性。

    弹出窗口包含属性

    此数据集可用于对利益相关者的 web 地图和应用程序进行符号化、分析和进一步配置。

更新数据管道

您的数据管道已成功运行,现在您拥有一个表示 DPR Capital Projects 的要素图层。 但是,源数据将定期更新,并且您的利益相关者希望在其 web 地图和应用程序中反映最新信息。 将来,每次数据管道运行时,您都需要更新要素图层输出元素以替换 DPR Capital Projects 要素图层。

注:

如果您组织的 Data Pipelines 仅需要运行一次,则无需更新要素图层元素。

  1. 在数据管道编辑器中,关闭最新的运行详细信息窗口。
  2. 在画布上,单击表示输出要素图层的要素图层元素。
  3. 要素图层窗格中的输出设置下,将输出方法更改为替换

    “输出方法”参数

    随即显示要素图层参数。 此参数将告知数据管道,当其未来运行时需要替换的组织中的要素图层。

  4. 对于要素图层,单击选择图层

    “要素图层”参数

    选择要素图层窗口随即出现。 您将选择要替换的要素图层。

    警告:

    选择要替换的要素图层时需要谨慎操作。 如果选择错误的要素图层,则可能会不可逆转地丢失数据。

  5. 找到 DPR Capital Projects 要素图层。 单击选择图层并选择 DPR Capital Projects

    DPR Capital Projects 要素图层

  6. 单击确认

    现在,当数据管道将来再次运行时,其将覆盖现有要素图层并避免出现错误。

  7. 保存数据管道。

计划数据管道

由于输入数据集可能会发生变化,您需要计划数据管道在将来自动运行。

  1. 单击 ArcGIS Data Pipelines

    ArcGIS Data Pipelines 按钮

  2. 单击管理计划

    “管理计划”按钮

    现在,您需要创建一个任务。 任务用于控制数据管道的运行频率。

  3. 单击创建任务

    “创建任务”按钮

    创建任务窗口随即出现。 您需要在此处选择已创建的数据管道。

  4. 选择 Capital Projects Data Pipeline

    “创建任务”窗口。

  5. 单击下一步

    您需要计划数据管道自动运行,由此使用最新信息填充目标要素图层。 计划数据管道运行将消耗配额,就像在编辑器中工作一样。 由于这是一个教程,因此您仅需运行一次该数据管道以节省配额。 但是,在生产环境中,您可以根据输入数据集的更新频率将其设置为每月、每日或更加频繁地运行。

    首先,您需要为此任务提供标题。

  6. 对于标题,键入 DPR Capital Projects Update

    “标题”参数

    您需要将此数据管道设置为每 15 分钟运行一次。

  7. 对于重复类型,选择分钟。 对于重复间隔,保留默认值 15 分钟

    “重复类型”和“重复间隔”参数

    接下来,您需要确保数据管道仅运行一次。

  8. 对于结束,选择运行次数后。 对于运行次数,键入 1

    “结束”和“运行次数后”参数

    注:

    有关计划任务的详细信息,请参阅计划数据管道任务

  9. 单击保存

    该任务可见,并将通知您其下次运行的时间。

    计划任务

    注:

    如果您希望编辑、暂停或删除任务,请单击表格最末端的选项按钮。 此外,可以单击链接以查看或编辑数据管道。

    任务运行后,可以查看任务运行历史记录。

  10. 单击 DPR Capital Projects Update 任务。

    DPR Capital Projects Update 任务

    任务运行窗格将显示任务以及已完成运行的状态。 绿色复选标记指示运行成功。 红色六边形指示运行失败。

    上一个任务状态

    输出结果下,将显示数据管道的结果概览。

    “输出结果”和“运行详细信息”

在本教程中,您构建了一个数据管道以集成来自各种动态源的数据,添加了附加属性,移除了无关属性,重命名了字段,并将结果写入了要素图层。 您还将数据管道设置为按计划自动运行。 通过配置数据管道,可以跳过每次更新源数据时手动操作数据和更新要素图层的繁琐过程。

您可以在教程库中找到更多教程。