Table Upsert
Description
Section intitulée « Description »Combine l’insertion et la mise à jour en une seule opération, à partir d’une ou plusieurs colonnes que vous désignez comme clé de correspondance. Pour chaque ligne de la source : si une ligne correspondante existe dans la cible (mêmes valeurs de clé), elle est mise à jour ; sinon, une nouvelle ligne est insérée.
Utilisez cette étape lorsque vous avez un flux de données incrémentiel qui comprend à la fois de nouveaux enregistrements et des révisions d’enregistrements existants : mises à jour de ventes, modifications de fiches d’employés ou tout scénario où l’on veut toujours refléter l’état le plus récent. Choisissez soigneusement les colonnes de correspondance : les lignes qui partagent les mêmes valeurs de clé mais diffèrent sur les autres colonnes seront écrasées, et une mauvaise clé peut donc corrompre les données sans avertissement.
Paramètres d’upsert
Section intitulée « Paramètres d’upsert »
Pour définir les tables source et cible, sélectionnez d’abord la table de données à extraire dans la liste déroulante Table source. Sélectionnez ensuite une table existante comme table cible dans la liste déroulante Table cible.
Lorsque l’étape s’exécute
Les étapes Table Extract, Table Lookup, Table Inner Join, Table Cross Join, Table Outer Join, Table Anti Join, Jointure multi-tables, Table Union Distinct, Table Union All, Table Pivot, Table Melt, Table In-Place Delete, Table Upsert et Table Append vérifient leurs tables source lorsqu’elles s’exécutent, avant d’écrire quoi que ce soit. La vérification compare la requête que l’étape a construite avec chaque table source telle qu’elle est à ce moment-là :
- Une colonne que l’étape lit et que la table n’a pas, une clé de jointure que la table n’a pas ou qui ne figure pas dans les colonnes source de l’étape, ou une table source que l’étape lit et qui n’a pas été construite arrête l’étape. Une seule erreur nomme chaque problème, avec sa propre correction. Une table cible qui existait déjà reste telle qu’elle était, et celle que l’étape a dû créer reste vide.
- Une colonne que l’étape liste sans la lire, et que la table n’a plus, ajoute un avertissement. L’étape s’exécute sans elle.
- Table Union Distinct et Table Union All font exception pour une table source qui n’a pas été construite : elles l’écartent, sans avertissement, et combinent les autres, comme auparavant. Si aucune de leurs tables source n’a été construite, elles se terminent par un avertissement au lieu d’échouer.
Une étape dont la cible est une vue ne fait que créer la vue ; les colonnes et les clés de jointure qu’elle liste ne sont donc vérifiées par rapport à ses tables que lorsque l’entrepôt refuserait de toute façon de créer cette vue. Dans les autres cas, seule une table source qui n’a pas été construite ou une clé de jointure que l’étape ne liste pas l’arrête, et aucun avertissement n’est ajouté.
Lorsque c’est possible, l’erreur nomme l’étape qui construit une table, et lorsque la table possède une colonne dont le nom ressemble à celui d’une colonne manquante, par exemple qui n’en diffère que par la casse, elle nomme aussi cette colonne.
Sélection des données de la table source
Section intitulée « Sélection des données de la table source »
Le Data Mapper sert à mapper les colonnes des données sources vers la table de données cible.
Inspection et renseignement du mappeur
Section intitulée « Inspection et renseignement du mappeur »Le bouton de menu Inspecter la source offre d’autres moyens de mapper les colonnes de la source vers la cible :
- Renseigner les deux tables de mappage : propage toutes les valeurs de la table de données source vers la table de données cible. C’est le comportement par défaut.
- Renseigner uniquement la table de mappage source : mappe uniquement toutes les valeurs de la table de données source. C’est utile lorsque vous modifiez un workflow existant dont la structure des colonnes sources a changé.
- Renseigner uniquement la table de mappage cible : propage toutes les valeurs vers la table de données cible uniquement.
Si les options de colonnes source et cible ne suffisent pas, vous pouvez ajouter d’autres colonnes à la table de données cible de plusieurs façons :
- Tout propager insère toutes les colonnes sources dans la table de données cible, qu’elles existent déjà ou non.
- Propager la sélection insère uniquement les colonnes sources sélectionnées.
- Faites un clic droit côté cible et sélectionnez Insérer une ligne pour insérer une ligne juste au-dessus de la ligne actuellement sélectionnée.
- Faites un clic droit côté cible et sélectionnez Ajouter une ligne pour insérer une ligne en bas (à l’extrême droite) de la table de données cible.
Suppression de colonnes
Section intitulée « Suppression de colonnes »Pour supprimer des colonnes de la table de données cible, sélectionnez les colonnes voulues, faites un clic droit, puis sélectionnez Supprimer.
Modification de l’ordre des colonnes
Section intitulée « Modification de l’ordre des colonnes »Pour réorganiser les colonnes de la table de données cible, sélectionnez les colonnes voulues. Vous pouvez utiliser :
- Flèches de déplacement groupé : sélectionnez l’option de déplacement voulue avec les flèches en haut à droite
- Menu contextuel : faites un clic droit et sélectionnez Déplacer en haut, Monter, Descendre ou Déplacer en bas.
Réduire le résultat aux enregistrements distincts uniquement
Section intitulée « Réduire le résultat aux enregistrements distincts uniquement »Pour ne renvoyer que les enregistrements distincts, sélectionnez l’option de menu Distinct. Elle affiche une série de cases à cocher, une pour chaque colonne de la source. Il suffit de cocher la case en regard de la colonne correspondante pour ne renvoyer que les résultats distincts.
Selon la situation, vous pouvez envisager d’utiliser plutôt une synthèse.
Le traitement distinct conserve le premier enregistrement unique trouvé et écarte les autres. Il peut être judicieux de trier les données si la cohérence entre les exécutions est importante.
Clé de mise à jour
Section intitulée « Clé de mise à jour »La grille des colonnes cibles comporte une colonne Clé de mise à jour, juste après le nom de la colonne cible. Cochez-la pour les colonnes qui, ensemble, identifient une ligne : une ligne source dont les valeurs de clé correspondent à une ligne déjà présente dans la cible met à jour cette ligne, et toute autre ligne source est insérée.
Toutes les colonnes sont cochées au départ : décochez donc celles qui ne font pas partie de la clé. Une colonne sans paramètre de clé de mise à jour, par exemple une colonne que Renseigner vient d’ajouter ou une colonne enregistrée via l’API sans ce paramètre, compte comme une clé. Au moins une colonne doit rester cochée.
Colonnes cibles absentes de la table cible
Section intitulée « Colonnes cibles absentes de la table cible »Un upsert met à jour et insère des lignes dans sa table cible telle qu’elle est, sans jamais lui ajouter de colonne, si bien qu’une exécution échoue sur une Colonne cible que la table n’a pas. À l’ouverture de l’étape, puis chaque fois que vous choisissez une autre table cible, le formulaire lit les colonnes de la table cible, en résolvant toute variable de son nom à partir des variables du workflow. Chaque Colonne cible que la table n’a pas s’affiche en rouge derrière un signe d’avertissement ⚠, et son survol indique La colonne « region » ne figure pas dans la table cible. Les noms sont comparés sans tenir compte de la casse, si bien que Region correspond à region. La même marque apparaît sur une Colonne source que les colonnes source ne listent plus, par exemple après une nouvelle inspection de la source, et indique La colonne « region » ne figure pas dans les colonnes source.
Rien n’est marqué tant que la table cible n’existe pas encore, car l’exécution la crée à partir du mappage, ni tant que ses colonnes ne peuvent pas être lues. Une colonne de la table que le mappage omet n’est pas marquée, mais le serveur refuse tout de même d’enregistrer l’étape, comme décrit sous Contrôles effectués à l’enregistrement.
Lorsque vous enregistrez une étape dont une Colonne cible est marquée ainsi, la boîte de dialogue Colonnes obsolètes détectées liste les lignes marquées sous Colonnes, précédées de Ces lignes désignent une colonne que l’étape ne peut pas utiliser :, et se termine par L’étape ne peut pas être enregistrée tant que les colonnes absentes de la table cible n’y sont pas ajoutées ou que leurs lignes ne sont pas supprimées. Elle propose deux choix :
- Tout supprimer et enregistrer : supprime toutes les lignes marquées, de sorte que ces colonnes ne sont plus chargées, puis enregistre.
- Annuler : revient à l’étape sans enregistrer.
Il n’y a pas d’option Enregistrer quand même, car le serveur refuse d’enregistrer un mappage qui nomme une colonne que la table cible existante n’a pas. Pour conserver une ligne, ajoutez sa colonne à la table cible, puis enregistrez de nouveau l’étape. L’exception est une table cible dont le nom est donné par une variable, telle que {year}/Customers : le serveur laisse ce contrôle à l’exécution, et la boîte de dialogue propose donc toujours Enregistrer quand même. Lorsque des lignes sont marquées uniquement pour leur Colonne source, la boîte de dialogue propose Tout supprimer et enregistrer, Enregistrer quand même et Annuler.
Filtres de données source
Section intitulée « Filtres de données source »
Pour offrir un maximum de souplesse, des filtres de données sont disponibles sur les données source et sur les données cible. Pour les jeux de données volumineux, il peut être particulièrement avantageux de filtrer les lignes dès la source afin que les opérations suivantes portent sur un jeu de données plus petit.
Sélectionner un sous-ensemble de données
Ce type de filtre permet de filtrer les données source entrantes selon les conditions spécifiées.
Appliquer un filtre secondaire aux données de résultat
Ce type de filtre permet d’appliquer un filtre aux données de résultat après transformation, selon les conditions spécifiées. La possibilité d’appliquer un filtre au résultat transformé permet d’exclure des lignes en fonction du résultat de calculs complexes, de synthèses ou de fonctions de fenêtrage.
Découpage final de la table de données (limite)
Le découpage des lignes permet de limiter les lignes du jeu de résultats selon une plage et un point de départ.
Syntaxe des filtres
La syntaxe des filtres utilise Python SQLAlchemy, qui est la même syntaxe que celle des autres expressions.
Consultez des exemples et des fonctions d’expression dans la section Expressions.
Contrôles effectués à l’enregistrement
Section intitulée « Contrôles effectués à l’enregistrement »- Au moins une clé de mise à jour. Sinon, l’enregistrement est refusé avec le message At least one target column must be marked as Update Key.
- Le mappage correspond à une table cible existante. Lorsque la table cible existe déjà, l’étape doit mapper chacune de ses colonnes, ne mapper aucune colonne que la table n’a pas et attribuer à chaque colonne le type de la table, afin qu’un upsert ne puisse pas supprimer une colonne de la table, avec ses données, ni changer le type d’une colonne. Les types numérique et monétaire comptent comme un seul type. Le refus nomme chaque différence, par exemple The target columns must match the existing target table ‘customers’. The table has columns the step doesn’t map: region. Une table cible qui n’existe pas encore, ou dont le nom est donné par une variable, est vérifiée à l’exécution de l’étape. L’onglet Colonnes marque avant l’enregistrement une colonne que la table n’a pas et, sauf si le nom de la table est donné par une variable, l’enregistrement ne propose alors que de supprimer sa ligne. Consultez Colonnes cibles absentes de la table cible.
- Un mappage vide est renseigné pour vous. L’enregistrement avec une table source choisie mais sans colonnes source ou cible renseigne le côté vide à partir de la source, comme le ferait Renseigner les deux tables de mappage.