Étape Export Templated

Description

Génère le rendu de tables de projet via un modèle pour produire un document structuré, au lieu du vidage brut de colonnes qu’écrivent les autres étapes d’exportation. Utilisez-la lorsque le système destinataire exige une structure XML précise, ou un autre format texte, plutôt qu’une table.

Éléments de configuration spécifiques

Modèle source

Le modèle Jinja à partir duquel la sortie est générée. Voir Ce qu’un modèle peut utiliser.

Sortie cible

Le compte de documents, le dossier et le nom de fichier du résultat généré. Le modèle décide du contenu du fichier ; un nom de fichier sans extension reçoit .xml.

Utiliser des DataFrames Pandas pour les données de table modifie la façon dont les lignes de chaque source parviennent au modèle. Voir Lignes sources sous forme de table.

Table source

Nommez les tables explicitement, ou trouvez-les par chemin et par règle de recherche : exact, commence par, se termine par, contient ou glob.

Ce qu’un modèle peut utiliser

Le modèle est rendu dans un bac à sable : il lit les données que l’étape lui fournit, et rien d’autre.

• Chaque source, par son Nom. Chaque table source que vous listez est disponible dans le modèle sous le Nom que vous lui donnez ; utilisez donc un nom valable comme variable, tel que invoices.
• Les variables du workflow, sous la forme variable, par exemple {{ variable.region }}.

<Invoices>
{% for row in invoices %}
  <Invoice id="{{ row.invoice_id }}" amount="{{ row.amount }}" />
{% endfor %}
</Invoices>

Lignes sources sous forme de liste

Lorsque Utiliser des DataFrames Pandas pour les données de table est désactivé, une source est une liste de lignes en lecture seule. Parcourez-la dans une boucle, ou utilisez |length, keys(), first(), one(), all(), scalar(), scalars(), mappings(), fetchmany(n) et columns('a', 'b'). Lisez une valeur d’une ligne avec row.amount, row['amount'] ou row[0] ; row._mapping, row._asdict() et row._fields fonctionnent aussi. Les lignes issues de columns('a', 'b') acceptent row.amount ou row[0], mais pas row['amount'].

Lignes sources sous forme de table

Lorsque Utiliser des DataFrames Pandas pour les données de table est activé, une source est une table en lecture seule. La parcourir dans une boucle fournit chaque ligne sous forme de dictionnaire, de sorte que row.amount et row['amount'] fonctionnent tous deux. Vous pouvez aussi utiliser :

• columns, empty, shape, values et index
• head(n) et tail(n)
• itertuples(), qui place la position de la ligne en premier sous le nom Index, de sorte que r[1] est la première colonne ; itertuples(index=False) l’omet
• iterrows(), qui fournit la position de la ligne et la ligne
• invoices['amount'], les valeurs d’une colonne, avec sum(), min(), max(), mean(), unique() et tolist() ; sum, min, max et mean ignorent les valeurs nulles

Les autres méthodes pandas, telles que loc et groupby, ne sont pas disponibles. Mettez les données en forme dans une étape antérieure et exportez le résultat.

Ce qu’un modèle ne peut pas faire

• Appeler une méthode dont le nom commence par to_, sur n’importe quelle valeur : to_csv et to_json, mais aussi des méthodes inoffensives comme to_pydatetime.
• Lire un attribut dont le nom commence par un trait de soulignement, autre que _mapping, _asdict et _fields d’une ligne.
• Écrire ou ouvrir des fichiers.

Un appel to_ ou une opération sur un fichier fait échouer l’étape. Un attribut à trait de soulignement autre que ces trois-là ne produit simplement rien.

Éléments de configuration communs

Configuration du Data Mapper

Le Data Mapper sert à mapper les colonnes des données source vers la table de données cible.

Inspection et remplissage du mappeur

Le bouton de menu Inspecter la source offre d’autres façons de mapper les colonnes de la source vers la cible :

• Renseigner les deux tables de mappage : propage toutes les valeurs de la table de données source vers la table de données cible. C’est le comportement par défaut.
• Renseigner uniquement la table de mappage source : mappe uniquement toutes les valeurs de la table de données source. C’est utile pour modifier un workflow existant lorsque la structure des colonnes source a changé.
• Renseigner uniquement la table de mappage cible : propage toutes les valeurs vers la table de données cible uniquement.

Si les options de colonnes source et cible ne suffisent pas, vous pouvez ajouter d’autres colonnes à la table de données cible de plusieurs façons :

• Tout propager insère toutes les colonnes source dans la table de données cible, qu’elles existent déjà ou non.
• Propager la sélection insère uniquement la ou les colonnes source sélectionnées.
• Faites un clic droit côté cible et sélectionnez Insérer une ligne pour insérer une ligne juste au-dessus de la ligne actuellement sélectionnée.
• Faites un clic droit côté cible et sélectionnez Ajouter une ligne pour insérer une ligne en bas (à l’extrême droite) de la table de données cible.

Danger

Sélectionner Tout propager duplique les colonnes si elles existent déjà dans la liste cible

Suppression de colonnes

Pour supprimer des colonnes de la table de données cible, sélectionnez la ou les colonnes voulues, puis faites un clic droit et sélectionnez Supprimer.

Colonnes source qui ne sont plus listées

Une ligne cible peut nommer une Colonne source que la table de données source ne liste plus, par exemple après une nouvelle inspection de la source. L’étape ne supprime jamais une telle ligne à votre place. À la place, le nom de la colonne s’affiche en rouge derrière un signe d’avertissement ⚠, et le survol indique que la colonne ne figure pas dans les colonnes source. Dans une étape à plusieurs tables, comme une union, chaque table est vérifiée par rapport à ses propres colonnes source.

Une ligne avec une Constante, une Expression ou un résumé Nombre (valeurs nulles incluses) n’est jamais signalée, car l’étape ne lit pas sa colonne source. Rien n’est signalé tant que la table de données source ne liste aucune colonne, par exemple avant la première inspection de la source.

Lorsque vous enregistrez une étape qui contient encore des lignes signalées, une boîte de dialogue Colonnes obsolètes détectées les liste sous l’onglet ou la table concernés, et propose trois choix :

• Tout supprimer et enregistrer : supprime les lignes signalées, puis enregistre.
• Enregistrer quand même : enregistre l’étape telle quelle.
• Annuler : retourne à l’étape sans enregistrer.

Pour conserver une ligne et faire disparaître son avertissement, rajoutez la colonne à la table de données source, ou choisissez une colonne que la table de données source liste.

Colonnes absentes de la table source

Lorsque vous enregistrez, la table de données source elle-même est vérifiée dans son état actuel. Une colonne que l’étape liste dans ses colonnes source mais que la table n’a pas, par exemple une colonne qu’une étape précédente a renommée ou supprimée, signifie que les colonnes de l’étape sont obsolètes, et une étape qui lit une telle colonne échoue à l’exécution. L’enregistrement ouvre alors une boîte de dialogue Colonnes source manquantes qui nomme chaque table et les colonnes qui lui manquent, avec deux choix :

• Enregistrer quand même : enregistre l’étape telle quelle.
• Annuler : revient à l’étape sans enregistrer.

Rien n’est supprimé à votre place, car la table peut être la source du problème et peut encore changer avant l’exécution de l’étape. Lorsque des lignes sont aussi signalées comme n’étant plus listées, les deux apparaissent ensemble dans la boîte de dialogue Colonnes obsolètes détectées, et Tout supprimer et enregistrer ne supprime que les lignes signalées. Tant que la liste des colonnes source est vide, ce sont les colonnes mappées par l’étape qui sont vérifiées, à l’exception des lignes ayant un résumé Constante, Expression ou Nombre (valeurs nulles incluses), qui ne lisent aucune colonne.

Une source nommée à l’aide d’une variable, telle que {year}/Sales, est vérifiée selon la valeur de la variable au moment de l’enregistrement, et la boîte de dialogue nomme la table vérifiée, par exemple 2026/Sales (from {year}/Sales). Une variable définie par une boucle contient la valeur de sa dernière itération ; une boucle sur des tables de formes différentes peut donc avertir à propos d’une table que la prochaine exécution ne lira pas. Une table qui n’existe pas encore, par exemple une table créée par une étape antérieure du workflow, n’est pas vérifiée, pas plus qu’une source dont la variable n’a pas de valeur, qu’une table que l’étape trouve par recherche à l’exécution ou qu’une table qui ne peut pas être lue pour le moment.

Type de données d’une colonne

Chaque colonne cible possède un Type. Une colonne propagée depuis la source conserve le type de la colonne source ; une ligne que vous ajoutez à la main est de type Texte au départ, et vous définissez le Type pour indiquer ce qu’elle doit réellement être : une colonne que vous comptez additionner ou trier a besoin de son type numérique ou date, car le texte se trie et s’additionne comme du texte.

Une étape enregistrée avec une colonne sans aucun type s’exécute malgré tout. Le type est déterminé au démarrage de l’étape, à partir de la colonne source que cette colonne lit. Lorsqu’il n’y a rien à partir duquel le déduire, il est traité comme du texte : les colonnes d’une étape Extraire SQL proviennent de la requête que vous avez écrite et non d’une source mappée, et lorsque plusieurs sources portent le même nom de colonne avec des types qui divergent, le texte est utilisé plutôt que d’en deviner un : une mauvaise supposition produit une conversion que l’entrepôt peut rejeter, alors que tout se convertit en texte.

Attention

Jointure multi-tables est l’exception, volontairement. Elle refuse de s’exécuter et nomme la colonne, ce qui est plus utile qu’une supposition dans une étape qui joint plusieurs tables. Définissez le Type de cette colonne et enregistrez à nouveau.

Définir vous-même le Type reste la façon d’indiquer ce qu’une colonne doit être. Le laisser vide revient à accepter ce que la colonne source se trouve être.

Modification de l’ordre des colonnes

Pour réorganiser les colonnes de la table de données cible, sélectionnez la ou les colonnes voulues. Vous pouvez utiliser l’une ou l’autre des méthodes suivantes :

• Flèches de déplacement groupé : sélectionnez l’option de déplacement voulue avec les flèches en haut à droite.
• Menu contextuel : faites un clic droit et sélectionnez Déplacer en haut, Monter, Descendre ou Déplacer en bas.

Réduire le résultat aux seuls enregistrements distincts

Pour ne renvoyer que des valeurs distinctes, sélectionnez l’option de menu Distinct. Un ensemble de cases à cocher s’affiche pour chaque colonne de la source. Il suffit de cocher la case en regard d’une colonne pour ne renvoyer que des résultats distincts.

Selon la situation, vous pouvez envisager d’utiliser plutôt la synthèse.

Le processus de distinction conserve le premier enregistrement unique trouvé et écarte les autres. Vous pouvez appliquer un tri aux données s’il est important d’obtenir des résultats cohérents d’une exécution à l’autre.

Danger

Sélectionner toutes les colonnes pour déterminer le caractère distinct peut donner l’impression que l’option n’est pas appliquée. Sélectionnez uniquement les colonnes qui, selon vous, définissent le caractère distinct des données.

Agrégation et regroupement

Pour agréger les résultats, sélectionnez l’option de menu Résumer. Un ensemble de listes de sélection s’affiche pour chaque colonne de la table de données cible. Choisissez une méthode de synthèse adaptée à chaque colonne.

Lorsque Inspecter la source remplit les colonnes, une colonne numérique commence à Regrouper par plutôt qu’à Somme si son nom ressemble à un identifiant, comme id, customer_id, Order No ou CustomerKey, si sa table la définit comme une clé, ou si la jointure l’utilise comme clé.

• Regrouper par
• Somme
• Min
• Max
• Premier
• Dernier
• Nombre
• Nombre (valeurs nulles incluses)
• Moyenne
• Écart type
• Écart type d’échantillon
• Écart type de population
• Variance
• Variance d’échantillon
• Variance de population
• Avancé hors regroupement

Note

Lorsque vous utilisez l’agrégation, toutes les colonnes doivent avoir un type de synthèse spécifié

Pour une utilisation avancée du Data Mapper, comme les expressions, le nettoyage et les constantes, consultez Utilisation avancée du Data Mapper.

Pour offrir un maximum de souplesse, des filtres de données sont disponibles sur les données source et sur les données cible. Pour les jeux de données volumineux, il peut être particulièrement avantageux de filtrer les lignes dès la source afin que les opérations suivantes portent sur un jeu de données plus petit.

Sélectionner un sous-ensemble de données

Ce type de filtre permet de filtrer les données source entrantes selon les conditions spécifiées.

Appliquer un filtre secondaire aux données de résultat

Ce type de filtre permet d’appliquer un filtre aux données de résultat après transformation, selon les conditions spécifiées. La possibilité d’appliquer un filtre au résultat transformé permet d’exclure des lignes en fonction du résultat de calculs complexes, de synthèses ou de fonctions de fenêtrage.

Découpage final de la table de données (limite)

Le découpage des lignes permet de limiter les lignes du jeu de résultats selon une plage et un point de départ.

Note

Par souci de cohérence, les résultats découpés doivent avoir un tri spécifié

Syntaxe des filtres

La syntaxe des filtres utilise Python SQLAlchemy, qui est la même syntaxe que celle des autres expressions.

Consultez des exemples et des fonctions d’expression dans la section Expressions.

Voir aussi

• Étapes Export
• Étape Export to XML — pour du XML sans modèle
• Étapes Report — pour des rapports PDF construits à partir de modèles