Export to ORC 步骤
将项目表作为 Apache ORC 文件写入文档账户,每个表一个文件。ORC 是一种列式格式,Hive、Spark 和大多数云数据平台都能读取,架构随文件一起保存。可与 Import ORC 配合使用。
步骤表单包含一个文件参数页,用于设置目标文件、前缀、压缩方式以及文件已存在时的处理方式;还有一个记录参数页,列出要导出的表,每个表都有各自的表数据选择和数据筛选器。迁移的 KNIME 工作流使用此步骤来实现 ORC 写入器。
- 目标文件(
output_file)——写入文件的文档账户和文件夹。 - 目标文件前缀(
file_name)——文件前缀。每个表写为<prefix><table name>.orc。 - 压缩选项(
compression)——文件内部使用的 ORC 编解码器:Snappy、zlib、gzip(写为zlib)、Zstandard 或 LZ4。无表示写入未压缩的文件。 - 记录参数(
frames)——要导出的表。每个 frame 带有各自的表设置;放在步骤顶层而不是 frame 内部的表级设置不会被读取。id——表在警告中的标签。source——要导出的项目表。每个文件以此命名。source_columns和target_columns——读取的列和写入的列,包括任何重命名、类型和按列聚合。source_where——对源行的筛选器。aggregate和aggregation_type——汇总行;aggregation_type是应用于未自行设置汇总方式的列的汇总方式。having——对汇总后行的筛选器。distinct——只写入非重复行。use_target_slicer、limit_target_start和limit_target_end——只写入结果中从起始位置到结束位置的行。sort_columns——通过 AI 助手或 REST API 设置,按这些源列对写入的行排序,第一个键优先,每个键为{source, ascending, nulls}。键列不必写入。nulls默认为升序时first、降序时last。不能与aggregate或distinct一起使用。
- 已存在的文件(
if_exists),位于文件已存在时下——覆盖它(overwrite,默认)会替换已存在的文件;使步骤失败且不写入任何内容(fail)会在要写入的文件已存在时使步骤停止,且不写入任何内容。