Importer Delta Lake

Description

Importe une table Delta Lake stockée dans PlaidCloud Document dans une table de projet. Indiquez à l’étape le dossier de la table, celui qui contient son dossier _delta_log et ses fichiers de données. La table est lue dans sa dernière version.

Le formulaire de l’étape comporte les mêmes onglets que Importer depuis Parquet : Paramètres d’importation choisit le Fichier source, le dossier de la table, et la Table cible ; Sélection des données de la table mappe les colonnes ; Filtres de données filtre les lignes. Renseigner lit les colonnes et leurs types depuis le _delta_log de la table, les colonnes de partition venant en dernier, sous forme de texte. Lorsque le dossier est absent ou vide, Renseigner répond Rien à remplir avec un avertissement qui nomme le chemin, et conserve le mappage existant.

Les workflows KNIME migrés utilisent cette étape pour les nœuds Delta Table Reader.

Configuration

• input_file : le compte de documents et le chemin du dossier de la table Delta. Une recherche peut trouver plusieurs tables : avec schema_mismatch défini sur union (par défaut), chaque table est chargée par nom de colonne, les colonnes absentes d’une table valent NULL, et les colonnes que le mappage ne déclare pas sont ignorées ; error arrête l’étape en nommant la table et les colonnes. Définissez schema_mismatch avec un assistant IA ou l’API REST.
• target_frame : la table dans laquelle les lignes sont écrites.
• source_columns et target_columns : le mappage des colonnes.
• source_where, having, aggregate, aggregation_type et distinct : filtrent et résument les lignes, comme dans les autres étapes d’importation.
• use_target_slicer, limit_target_start et limit_target_end : ne conservent qu’une tranche du résultat.
• delete_file : supprime les fichiers importés après l’importation.
• ascii_only : supprime les caractères non ASCII.
• skip_if_unchanged : activé par défaut. Une exécution de workflow ignore l’importation lorsque les fichiers sources et les paramètres de l’étape sont inchangés depuis la dernière exécution réussie.

Voir aussi

• Étapes d’importation
• Importer depuis Parquet