跳转到内容

将源表中的行添加到现有目标表的末尾。目标中的现有行会被保留;只插入新行。适用于数据增量到达(例如每日提取、每月加载文件)并希望随时间扩充目标表而不是替换它的情形。

如果需要在追加时去重,可在其后接 Table Union Distinct 步骤;如果有些行要按键更新现有记录,则使用 Table Upsert 步骤。

源和目标

要建立源表和目标表,首先使用源表下拉菜单选择要从中提取的数据表。接着,使用目标表下拉列表选择一个现有表作为目标表。

配置数据映射器时,源表中的列必须映射到目标表中的某一列。

数据映射器配置

Table Data Mapper

数据映射器用于将源数据中的列映射到目标数据表。

检查并填充映射器

使用 检查源 菜单按钮可以通过更多方式将源中的列映射到目标:

  • 填充两个映射表:将源数据表中的所有值传播到目标数据表。这是默认行为。
  • 仅填充源映射表:仅映射源数据表中的所有值。当源列结构发生变化而需要修改现有工作流时,此选项很有用。
  • 仅填充目标映射表:仅将所有值传播到目标数据表。

如果上述源列和目标列选项仍不够用,还可以通过以下几种方式向目标数据表添加其他列:

  • 全部传播 会将所有源列插入目标数据表,无论这些列是否已存在。
  • 传播所选项 仅插入所选的源列。
  • 在目标侧右键单击并选择 插入行,可在当前所选行的正上方插入一行。
  • 在目标侧右键单击并选择 追加行,可在目标数据表的底部(最右侧)插入一行。

删除列

要从目标数据表中删除列,请选择所需的列,然后右键单击并选择 删除。

不再列出的源列

目标行可能指定了某个 源列,而源数据表已不再列出该列,例如在重新检查源之后。步骤绝不会自动移除这样的行,而是将列名显示为红色,并在前面加上 ⚠ 警告标志;将鼠标悬停在其上,会提示该列不在源列中。在包含多个表的步骤(如联合)中,每个表都会分别对照其自身的源列进行检查。

带有 常量、表达式 或 计数(含空值) 汇总的行不会被标记,因为步骤不会读取其源列。当源数据表没有列出任何列时(例如首次检查源之前),也不会标记任何内容。

保存仍含有已标记行的步骤时,会出现 发现过时列 对话框,按其所在的选项卡或表列出这些行,并提供三个选项:

  • 全部移除并保存 — 移除已标记的行,然后保存。
  • 仍然保存 — 按现状保存步骤。
  • 取消 — 返回步骤,不保存。

要保留某一行并清除其警告,请将该列重新添加到源数据表,或选择源数据表中列出的某一列。

源表中缺少的列

保存时,会按源数据表的当前状态对其进行检查。如果步骤在其源列中列出了某一列,而该表中并没有这一列(例如前面的步骤已将其重命名或删除),就说明步骤的列已经过时,读取该列的步骤在运行时会失败。此时保存会弹出 缺少源列 对话框,列出每个表及其缺少的列,并提供两个选项:

  • 仍然保存 — 按当前状态保存步骤。
  • 取消 — 返回步骤而不保存。

系统不会替您移除任何内容,因为有问题的可能是表本身,而且表在步骤运行之前还可能再次变化。如果同时还有行被标记为不再列出,两者会一并显示在 发现过时列 对话框中,全部移除并保存 只会移除被标记的行。当源列列表为空时,改为检查步骤所映射的列,但带有 常量、表达式 或 计数(含空值) 汇总的行除外,因为这些行不读取任何列。

用变量命名的源,例如 {year}/Sales,会按保存时变量的当前值进行检查,对话框中会给出实际检查的表名,例如 2026/Sales (from {year}/Sales)。由循环设置的变量保存的是最后一次迭代的值,因此对结构各异的多个表进行循环时,可能会针对下次运行并不会读取的表发出警告。尚不存在的表(例如工作流中前面某个步骤将要创建的表)不会被检查;变量没有值的源、步骤在运行时通过搜索查找的表,以及当前无法读取的表,同样不会被检查。

目标表中缺少的目标列

此步骤会按目标表的现状向其中写入数据,从不向表中添加列,因此如果某个 目标列 在表中不存在,运行就会失败。步骤打开时,以及每次选择其他目标表时,表单都会读取目标表的列,并用工作流的变量填入表名中的任何变量。表中不存在的每个 目标列 都会显示为红色,并在前面加上 ⚠ 警告标志;将鼠标悬停在其上,会提示 列“discount”不在目标表中。 比较名称时不区分大小写,因此 Discount 与 discount 匹配。此标记与源列中已不再列出的 源列 上的标记并存,后者提示 列“discount”不在源列中。

目标表尚不存在时(运行会根据映射创建该表),或者无法读取其列时,不会标记任何内容。

保存含有以这种方式标记的行的步骤时,发现过时列 对话框会在 列 下方列出已标记的行,置于 以下行指定的列无法被该步骤使用: 这一提示之后,并以 在将目标表缺少的列添加到该表或移除这些行之前,无法保存该步骤。 结尾。它提供两个选项:

  • 全部移除并保存 — 移除每个已标记的行,使这些列不再加载,然后保存。
  • 取消 — 返回步骤,不保存。

这里没有 仍然保存,因为服务器会拒绝保存指定了现有目标表中不存在的列的映射。要保留某一行,请将其列添加到目标表,然后再次保存该步骤。例外情况是以变量命名的目标表,例如 {year}/Sales:服务器会将该检查留到运行时进行,因此对话框仍会提供 仍然保存。

如果行仅因其 源列 而被标记,对话框会提供 全部移除并保存、仍然保存 和 取消,如上文所述。

步骤运行时

Table Extract、Table Lookup、Table Inner Join、Table Cross Join、Table Outer Join、Table Anti Join、多表联接、Table Union Distinct、Table Union All、Table Pivot、Table Melt、Table In-Place Delete、Table Upsert 和 Table Append 步骤在运行时、写入任何内容之前,会检查其源表。该检查会将步骤构建的查询与每个源表此刻的状态进行比较:

  • 步骤读取的列在表中不存在、联接键在表中不存在或不在步骤的源列中,或者步骤读取的源表尚未构建,都会使步骤停止。一条错误会列出每个问题及各自的修复方法。已存在的目标表保持原样,步骤需要新建的目标表则保持为空。
  • 步骤列出但并不读取、且表中已不存在的列,只会增加一条警告。步骤会在没有该列的情况下运行。
  • 对于尚未构建的源表,Table Union Distinct 和 Table Union All 是例外:它们会像以前一样跳过该表且不发出警告,并合并其余的表。如果其源表均未构建,它们会以警告结束,而不是失败。

目标为视图的步骤只会创建该视图,因此只有在仓库本来就会拒绝创建该视图时,才会根据其表检查步骤列出的列和联接键。其他情况下,只有尚未构建的源表或步骤未列出的联接键会使步骤停止,也不会添加警告。

只要可能,错误会指明构建该表的步骤;如果表中有一列的名称与缺失的列相近,例如仅大小写不同,也会指明该列。

列数据类型

每个目标列都带有一个 类型。从源传播而来的列沿用源列的类型;手动添加的行起初为 文本,需要设置 类型 来指明其实际类型 — 打算求和或排序的列需要使用数值或日期类型,因为文本会按文本方式排序和求和。

保存时没有任何类型的列,步骤仍可运行。类型会在步骤启动时根据该列所读取的源列确定。如果无处可读,则视为文本:提取 SQL 步骤的列来自您编写的查询,而不是映射的源;如果多个源中存在同名列但类型不一致,则使用文本,而不是随意选择其中一种 — 猜错会产生仓库可能拒绝的转换,而任何类型都可以转换为文本。

自行设置 类型 仍然是指明列应为何种类型的方式。不设置则意味着接受源列恰好具有的类型。

更改列顺序

要重新排列目标数据表中的列,请选择所需的列。可以使用以下任一方式:

  • 批量移动箭头:从右上角的箭头中选择所需的移动选项
  • 上下文菜单:右键单击并选择 移到顶部、上移、下移 或 移到底部。

仅返回非重复记录

要仅返回非重复的选项,请选择 非重复 菜单选项。这会为源中的每一列切换显示一组复选框。只需勾选相应列旁边的复选框,即可仅返回非重复的结果。

视情况而定,您可能需要考虑改用汇总。

非重复处理会保留找到的第一条唯一记录,并丢弃其余记录。如果运行之间的一致性很重要,可能需要对数据进行排序。

聚合与分组

要聚合结果,请选择 汇总 菜单选项。这会为目标数据表中的每一列切换显示一组选择框。请为每一列选择合适的汇总方法。

当 检查源 填充列时,如果数值列的名称读起来像标识符(例如 id、customer_id、Order No 或 CustomerKey),或者其所在表将其设为键,或者联接将其用作键,则该列起初为 分组依据,而不是 求和。

  • 分组依据
  • 求和
  • 最小值
  • 最大值
  • 第一个
  • 最后一个
  • 计数
  • 计数(含空值)
  • 平均值
  • 标准差
  • 样本标准差
  • 总体标准差
  • 方差
  • 样本方差
  • 总体方差
  • 高级非分组

有关表达式、清理和常量等高级数据映射器用法,请参阅高级数据映射器用法

Table Data Filters

为了获得最大的灵活性,源数据和目标数据都可以使用数据筛选器。对于较大的数据集,在源端筛选掉部分行尤其有益,这样后续操作只需处理较小的数据集。

选择数据子集

此筛选器类型用于根据指定条件筛选传入的源数据。

对结果数据应用二次筛选器

此筛选器类型用于根据指定条件对转换后的结果数据应用筛选器。 对转换后的结果应用筛选器,可以基于复杂计算、汇总或窗口函数的结果进行排除。

最终数据表切片(限制)

行切片功能可根据范围和起始点限制结果集中的行数。

筛选器语法

筛选器语法使用 Python SQLAlchemy,与其他表达式的语法相同。

有关示例和表达式函数,请参阅表达式部分。

  • 映射与现有目标表相符。 目标表已存在时,步骤不能映射该表没有的列,也不能给列指定与表不同的类型。数值和货币视为同一类型。映射中省略的表列是允许的,在追加的行中保持为空。拒绝消息会指明每处差异,例如 The target columns must match the existing target table ‘sales’. Types differ: amount (table: numeric, step: text). 尚不存在的目标表,或以变量命名的目标表,会在步骤运行时检查。保存之前,列选项卡就会标出表中没有的列;除非该表以变量命名,否则保存时只会提供移除该列所在行的选项。请参阅目标表中缺少的目标列。
  • 空映射会自动填充。 选择了源表但没有源列或目标列时,保存会根据源表填充空的一侧,效果与填充两个映射表相同。