Delta Lake importieren

Beschreibung

Importiert eine in PlaidCloud Document gespeicherte Delta-Lake-Tabelle in eine Projekttabelle. Richten Sie den Schritt auf den Ordner der Tabelle, der ihren Ordner _delta_log und die Datendateien enthält. Die Tabelle wird in ihrer neuesten Version gelesen.

Das Schrittformular hat dieselben Registerkarten wie Parquet importieren: Unter Importparameter wählen Sie die Quelldatei, den Ordner der Tabelle, und die Zieltabelle; Tabellendatenauswahl ordnet die Spalten zu; Datenfilter filtert die Zeilen. Übernehmen liest die Spalten und ihre Typen aus dem _delta_log der Tabelle, wobei Partitionsspalten zuletzt und als Text stehen. Wenn der Ordner fehlt oder leer ist, antwortet Übernehmen mit Nichts zu befüllen und einer Warnung, die den Pfad nennt, und behält die vorhandene Zuordnung bei.

Migrierte KNIME-Workflows verwenden diesen Schritt für Delta-Table-Reader-Knoten.

Konfiguration

• input_file – das Dokumentenkonto und der Pfad des Delta-Tabellenordners. Eine Suche findet mehrere Tabellen: Mit schema_mismatch auf union (Standard) wird jede Tabelle nach Spaltenname geladen, Spalten, die eine Tabelle nicht hat, sind NULL, und Spalten, die die Zuordnung nicht deklariert, werden ausgelassen; error stoppt den Schritt und nennt die Tabelle und die Spalten. Setzen Sie schema_mismatch mit einem KI-Assistenten oder über die REST-API.
• target_frame – die Tabelle, in die die Zeilen geschrieben werden.
• source_columns und target_columns – die Spaltenzuordnung.
• source_where, having, aggregate, aggregation_type und distinct – filtern und fassen die Zeilen zusammen, wie bei anderen Import-Schritten.
• use_target_slicer, limit_target_start und limit_target_end – behalten nur einen Ausschnitt des Ergebnisses.
• delete_file – löscht die importierten Dateien nach dem Import.
• ascii_only – entfernt Nicht-ASCII-Zeichen.
• skip_if_unchanged – standardmäßig aktiviert: Eine Workflow-Ausführung überspringt den Import, wenn die Quelldateien und die Einstellungen des Schritts seit der letzten erfolgreichen Ausführung unverändert sind.

Verwandte Themen

• Import-Schritte
• Parquet importieren