Importuj Delta Lake

Opis

Importuje tabelę Delta Lake przechowywaną w PlaidCloud Document do tabeli projektu. Wskaż w kroku folder tabeli, czyli ten, który zawiera folder _delta_log i pliki danych. Tabela jest odczytywana w najnowszej wersji.

Formularz kroku ma te same karty co Importuj Parquet: Parametry importu wybiera Plik źródłowy, czyli folder tabeli, oraz Tabela docelowa; Wybór danych tabeli mapuje kolumny; Filtry danych filtruje wiersze. Wypełnij odczytuje kolumny i ich typy z _delta_log tabeli, z kolumnami partycji na końcu, jako tekst. Gdy folder nie istnieje lub jest pusty, Wypełnij odpowiada Brak danych do wypełnienia wraz z ostrzeżeniem wskazującym ścieżkę i zachowuje dotychczasowe mapowanie.

Zmigrowane przepływy pracy KNIME używają tego kroku dla węzłów Delta Table Reader.

Konfiguracja

• input_file — konto dokumentów i ścieżka folderu tabeli Delta. Wyszukiwanie znajduje kilka tabel: przy schema_mismatch ustawionym na union (domyślnie) każda tabela jest ładowana według nazw kolumn, kolumny, których tabela nie ma, mają wartość NULL, a kolumny nieopisane w mapowaniu są pomijane; error zatrzymuje krok, wskazując tabelę i kolumny. Ustaw schema_mismatch za pomocą asystenta AI lub interfejsu REST API.
• target_frame — tabela, do której zapisywane są wiersze.
• source_columns i target_columns — mapowanie kolumn.
• source_where, having, aggregate, aggregation_type i distinct — filtrowanie i podsumowywanie wierszy, tak jak w innych krokach importu.
• use_target_slicer, limit_target_start i limit_target_end — zachowaj tylko wycinek wyniku.
• delete_file — usuń zaimportowane pliki po imporcie.
• ascii_only — usuń znaki spoza ASCII.
• skip_if_unchanged — domyślnie włączone: uruchomienie przepływu pracy pomija import, gdy pliki źródłowe i ustawienia kroku nie zmieniły się od ostatniego udanego uruchomienia.

Powiązane

• Kroki importu
• Importuj Parquet