表资源管理器
表资源管理器是一款功能强大且易于访问的数据探索工具,内置筛选、汇总和其他功能,让处理大型复杂数据的工作变得轻松。
表资源管理器支持探索任意大小的数据集,因此无论数据增长到多大,都可以使用同一个工具。它还提供点选式筛选以及高级筛选功能,帮助您精确定位所需数据。最棒的是,在 PlaidCloud 中任何有表或视图的地方,都可以单击这些表和视图,用表资源管理器进行探索。由于完全集成,访问数据只需单击一下。
Grid 视图以表格形式显示数据。Details 视图提供每一列的摘要、唯一值的计数以及每一列的分析统计信息。
可以直接从筛选后的数据集导出数据,也可以保存筛选器并与他人共享。最后,筛选器和列设置可以直接保存为工作流 Extract 步骤。
Grid 视图
Section titled “Grid 视图”Grid 视图以表格形式显示数据。
设置行数限制
Section titled “设置行数限制”默认情况下,行数限制设置为 5,000 行。不过,可以调整该限制或将其完全禁用。
所显示的行数以及数据集的总大小显示在表的底部。这些信息提供三项关键内容:
- 根据所应用的行数限制,当前显示的行数
- 应用筛选器后全局数据的大小
- 未筛选的全局数据的大小
选择前几行或随机行
Section titled “选择前几行或随机行”行数限制旁边是一个前几行 / 随机选择器,用于控制由哪些行填充网格:
- 前几行(默认)返回表的前几行,这是最快的选项,适合只想快速查看的情况。
- 随机返回从整个表中抽取的快速随机样本,因此预览反映的是数据的完整范围,而不仅仅是开头部分。当大型表的前几行不具代表性时,这对抽查数据质量很有用。
随机抽样使用存储引擎内置的抽样功能,因此即使在非常大的表上也能保持快速。它会返回您所要求数量的行,这些行从表中随机抽取,如果表的行数少于您的限制,则返回全部行,并且每次刷新都会得到不同的样本。该选择器仅适用于网格预览,对已保存的视图、提取、下载或报告的行数没有影响。使用随机时,必须启用行数限制。
本地排序与全局排序
Section titled “本地排序与全局排序”Grid 视图允许单击列标题,并按该列对数据排序。但是,此方法只对已检索的数据集排序,而不是基于完整数据集排序。如果检索到的数据包含整个数据集,则这种区别无关紧要;但如果完整数据集大于浏览器中显示的数据,这可能不是您想要的排序结果。
如果希望在检索将显示在浏览器中的有限数据之前,先对全局数据集排序,可以在 Details 视图中单击每列顶部的 Sort 图标,对列应用这些排序。使用全局排序方法的另一个好处是,可以应用多个排序,并混合使用不同的排序方向。
快速参考列列表
Section titled “快速参考列列表”默认情况下,表或视图中的所有列都显示在表资源管理器窗口的左侧。可以使用列列表切换按钮打开或关闭此列列表。
列列表提供多项快速访问的实用功能,包括:
- 双击某一项可跳转到
Grid或Details视图中的该列 - 通过可见性复选框控制列的可见性
- 使用多选和右键单击,可一次包含或排除多个列
- 使用数据类型图标快速查看每一列的数据类型
- 查看列的总数
对于项目架构师或租户管理员,工具栏上的行访问按钮会为您正在探索的表打开行访问。如果该表已限制行,按钮上会显示一个徽章。列的分面菜单中还有按此列限制行…,它会针对该列打开同一屏幕;对于已经限制行的列,则显示为按此列限制的行 — 编辑…。
当您自己的授权筛选了网格所加载的内容时,工具栏会显示行数受您的访问权限限制,开始下载将被筛选的内容时也会有相应提示。网格、其列分面和下载都只包含您可以查看的行。请参阅受限成员看到的内容。
Details 视图
Section titled “Details 视图”Details 视图提供了一种在高层级查看数据的高效方式,并提供多种工具,通过点选操作快速筛选出所需信息。
列数据和唯一值计数
Section titled “列数据和唯一值计数”只要列当前标记为可见,就会显示每一列。列摘要按计数显示前 1,000 个唯一值。可以通过选择 Detailed Rows Displayed 的其他值来调整显示的唯一值数量。
数值列显示的是其统计信息,而不是值的列表:最小值、最大值、平均值、总和、标准差和方差。这些统计信息不包括空值,仅包含空值的列则显示其值计数。这适用于所有 Lakehouse 引擎,包括 StarRocks。
如果某列的摘要计算耗时过长,会显示分析超时;如果某列的摘要无法加载,则显示分析失败。将鼠标悬停在徽章上可查看原因:筛选器存在的问题会在此处指明,而 PlaidCloud 一侧的故障会附带一个 ID,PlaidCloud 团队可据此进行追踪。要重试,请使用该列的刷新按钮。
管理点选筛选器
Section titled “管理点选筛选器”每一列都支持点选筛选,方法是激活列顶部的筛选器开关。选择该列中要包含在结果数据中的项目。支持多选。
应用筛选器后,可能有些项目需要移除,或者需要在不清除所有筛选器的情况下清除整个列的筛选器。可以通过选择列筛选器按钮上的下拉菜单并取消勾选各项,或选择顶部的全部清除选项来完成。
将 Summarize 按钮切换为 On,即可对数据应用汇总。激活 Summarize 按钮后,每一列都会显示要应用的汇总类型。请为每一列调整所需的汇总类型。
完成所需的汇总后,刷新数据,汇总就会生效。
汇总类型的示例有 Min、Max、Sum、Count 和 Count Distinct。
查找不重复值
Section titled “查找不重复值”激活 Distinct 按钮有助于将数据缩减为仅包含唯一记录的集合。Distinct 按钮处于激活状态时,每一列都会出现一个 Distinct 复选框。请取消勾选那些不用于确定该列在数据集中唯一性的列。例如,如果要在客户订单表中查找唯一的客户集合,则只需选择客户列,而不应同时包含客户订单号。
列分析统计信息
Section titled “列分析统计信息”无论数据类型如何,每一列都会在其列信息底部显示分析统计信息。
向量列是唯一的例外:它们不参与分析,也不会为其生成值列表。最小值、平均值或排名靠前的值列表对嵌入向量没有任何意义,而值列表将是每个包含数百个数字的原始数组。
整数列和数值列显示以下统计信息,基于完整的已筛选数据集计算:
- 最小值
- 最大值
- 平均值
- 标准差
- 总和
每一列(无论是数值、文本、日期还是其他类型)还会显示以下统计信息,基于完整的未筛选表计算:
Null Count (All Rows):整个表中的空值数量Null % (All Rows):空值占整个表的百分比Blank Count (All Rows):仅限文本列。空白指的是去除首尾空白后为空或仅包含空白字符的值,与空值不同。Blank % (All Rows):空白值占整个表的百分比Distinct % of Non-Null (All Rows):不重复值占实际有值的行的百分比。空值同时从不重复值计数和总数中排除,因此,一个 90% 为空值、但已填充的值都互不相同的列,显示为 100%,而不是 10%。
这些 (All Rows) 统计信息在服务器端以确定性方式计算,不涉及 AI 或抽样,同一列每次返回的数字都相同。它们遵循行级安全,因此您看到的始终是基于您有权查看的行计算的统计信息。计算它们需要额外执行一次全表查询,并与其他列分面共用同样的 60 秒预算;如果该查询超时,网格的其余部分不受影响。
对于数值列,表资源管理器还会报告值的分布情况,而不只是它们聚集在哪里。
Skewness (All Rows):衡量该列的值是偏向平均值的一侧,还是围绕平均值均匀分布。接近零的值表示数值大致对称;明显的正值或负值表示该列有一条向某一端延伸的长尾。这可以揭示仅凭平均值和标准差无法发现的形态,例如少数极大的值把平均值拉高,而该列中的大多数值要低得多。- 每个数值列统计信息下方的直方图,会将其值划分到 10 个等宽的区间中,覆盖该列的完整范围,让您一眼就能看出分布的形态。将鼠标悬停在某个条形上,可查看它所涵盖的确切值范围以及落入其中的行数。
与其他 (All Rows) 统计信息一样,偏度和直方图始终涵盖整个表,不受您当前筛选器的影响。如果某列的值少于两个,或完全没有变化,则不会显示偏度(既不显示为零,也不显示为错误),因为这种情况下无法进行有意义的计算。如果某列没有可计算的范围(例如完全为空值),直方图也会以同样的方式省略。
数据质量雷达
Section titled “数据质量雷达”表资源管理器会对每一列运行五项自动检查,以标记值得进一步查看的数据:
Outliers:在统计上远离该列其余部分的数值(与平均值相差超过三个标准差)。Format:与该列其余部分的主导模式不匹配的文本值,例如一个几乎全是日期、但混有少量自由文本值的列。此检查仅在至少有 100 个非空白值的列上运行,并且只有在某一模式明显占主导(即该列超过 95% 的值与之匹配)时才会标记不匹配项。Duplicates:属于表中已声明行键的列中重复出现的值,该列中的每个值都应是唯一的。此检查仅在已声明行键的表上运行,并以表的更新键作为行键。Orphans:与某个维度关联的列中的值,没有匹配该维度的任何成员。Constant:该列中所有非空值都相同,这通常意味着该列不包含任何有用信息。
这些检查针对整个表运行,与上面的 (All Rows) 统计信息相同,您当前的筛选器对它们没有影响。
对于发现问题的任何检查,Details 视图中的列上会直接显示一个徽章;对于无法完成的检查,则显示一个灰色徽章。从 Actions 菜单打开 Data Quality Radar,可查看按五项检查对每一列排名的摘要,包括结果为正常或不适用的检查,而不仅仅是被标记的检查。
每项检查都会独立报告五种结果之一:已标记、正常、不适用、超时或不可用。检查绝不会被悄悄跳过,您始终可以看到某列为什么没有针对某项检查的结论。
对于数值列,表资源管理器还会报告某一列的值与表中其他数值列的值共同变化的紧密程度。
Pearson r vs <column> (Complete Cases):两列呈直线关系共同变化的紧密程度,范围从 -1(完全相反)经 0(没有线性关系)到 +1(完全同向)。Spearman ρ vs <column> (Complete Cases):两列按排名顺序共同变化的紧密程度,无论这种关系是否为直线。一对持续共同上升、但呈曲线而不是直线的列,其 Spearman 得分可能高于 Pearson 得分。Complete Cases (All Rows):上述系数实际所基于的行数。
相关性是针对 Details 视图中当前可见的最多 10 个其他数值列计算的,并且仅使用在所有这些数值列中都有值的行,而不只是被比较的那一对列。这就是该范围被标注为 (Complete Cases) 而不是 (All Rows) 的原因:它是表中更窄的、按列表删除得到的子集,称之为 (All Rows) 会夸大系数所描述的范围。Complete Cases (All Rows) 计数本身是针对整个表度量的,与其他 (All Rows) 统计信息相同,它不受当前筛选器的影响,但如果更改了可见的数值列,它确实会发生变化。
除非至少有 10 个完整案例行,并且它们至少占表的 10%,否则相关性会被完全省略,而不是基于过少的证据显示出来。如果某个配对列自身的系数无法计算(例如该列没有变化),则只会丢弃那一行,而不是整个集合。
有时需要允许从 PlaidCloud 复制所选数据,以便将其粘贴到电子表格等其他应用程序中。
在右上角的“复制”按钮中,有几种数据复制选项可用:
- 全部复制:将所有数据复制到剪贴板
- 复制所选内容:将所选数据复制到剪贴板
- 复制单元格:仅将单个单元格的内容复制到剪贴板
- 复制列:将列的全部内容复制到剪贴板
从表资源管理器界面导出数据时,只会导出筛选后的数据,且仅包含可见的列。可以导出为以下格式:
- Microsoft Excel (xlsx)
- CSV(逗号)
- TSV(制表符)
- PSV(竖线)
下载菜单还提供仅下载浏览器中可见行的功能。这基于所指定的行数限制。
Actions 菜单下提供了其他实用操作。
另存为提取步骤
Section titled “另存为提取步骤”在探索数据时,通常是为了确定如何为数据管道流程筛选数据。这通常需要应用多个筛选器,包括高级筛选器,以精确定位所需结果。
您无需尝试在提取步骤中重现所有的筛选器、列、汇总和排序,只需将现有的表资源管理器设置直接保存为新的提取步骤即可。
与上面将当前表资源管理器设置保存为提取步骤类似,您也可以将设置直接保存为视图。
在为报告或其他不需要数据管道的下游流程构建数据切片时,这尤其有用。
管理已保存的筛选器
Section titled “管理已保存的筛选器”您的筛选工作永远不会丢失。可以将表资源管理器设置保存为已保存的筛选器。已保存的筛选器还包括列可见性、汇总、列筛选器、高级筛选器和排序。
保存筛选器时,勾选 Public 复选框,还可以让其他人使用已保存的筛选器。
从 Actions 菜单中,也可以选择删除和重命名已保存的筛选器。
点选式列筛选器可以快速应用筛选器以精确定位所需结果,但有时筛选条件很复杂,需要更高级的规范。
如果启用了 Summarize,高级筛选区域既提供聚合前筛选器,也提供聚合后筛选器。
任何有效的 Python 表达式都可用于对数据取子集。有关更多详细信息和示例,请参阅表达式。