ORC のインポート
PlaidCloud DocumentからApache ORCファイルをインポートします。ORCは、HiveとSparkが書き込む列指向のストレージ形式で、スキーマはファイルに含まれています。
ステップのフォームには3つのタブがあります。
- インポートパラメーター — ソースファイル（ドキュメントアカウントと、ファイルまたはフォルダーのパス）とターゲットテーブルに加えて、非ASCII文字を削除（
ascii_only）、インポート後にファイルを削除（delete_file）、ソースファイルが変更されていない場合は再インポートをスキップ（skip_if_unchanged）を指定します。 - テーブルデータの選択 — ソース列をターゲット列にマッピングし、集計と重複排除を指定します。取り込みは、ORCファイルに含まれるスキーマから、列とその型を読み取ります。
- データフィルター — 集計の前後で行をフィルターします。
ファイルが存在しない場合や空の場合、取り込みは警告にパスを示して取り込む列がありませんと応答し、現在のマッピングはそのまま保持されます。
移行されたProphecyプロジェクトでは、ORCデータセットにこのステップが使用されます。
まだ例はありません。