Export to CSV

Beschreibung

Schreibt eine PlaidCloud-Projekttabelle als CSV-Datei (durch Kommas getrennte Werte) in ein Dokumentenkonto. Das gebräuchlichste Exportformat – es wird von praktisch jedem nachgelagerten System, Tabellenkalkulationswerkzeug und jeder BI-Plattform unterstützt.

Konfigurierbar: Trennzeichen (Komma, Tabulator, Pipe, benutzerdefiniert), Anführungszeichenverhalten, Kopfzeile und Kodierung.

Exportparameter

Dateiauswahl für den Export

Mit der Dateiauswahl in dieser Transformation wählen Sie ein Ziel in einem PlaidCloud-Dokument, in dem das exportierte Ergebnis gespeichert wird.

Sie wählen ein Verzeichnis und geben einen Dateinamen für die Zieldatei an.

Quelltabelle

Option „Dynamisch“

Mit der Option „Dynamisch“ geben Sie eine Tabelle als Text an, auch mit Variablen. Das ist nützlich bei variablengesteuerten Workflows, in denen sich Verweise auf Tabellen und Ansichten nach den angegebenen Variablen richten.

Ein Beispiel, das die Variable current_month verwendet, um dynamisch auf die Quelltabelle zu verweisen:

legal_entity/inputs/{current_month}/ledger_values

Option „Statisch“

Wenn eine bestimmte Tabelle als Quelle für den Export dienen soll, lassen Sie das Kontrollkästchen Dynamisch deaktiviert und wählen Sie die Quelltabelle aus.

Der Tabellen-Explorer steht bei jeder Tabellenauswahl zur Verfügung. Klicken Sie auf die Schaltfläche „Tabellen-Explorer“ rechts neben der Tabellenauswahl, um ein Tabellen-Explorer-Fenster zu öffnen.

Dokumentenkonto auswählen

Wählen Sie ein PlaidCloud-Dokumentenkonto, auf das Sie Zugriff haben. Anschließend können Sie in der nächsten Auswahl ein Verzeichnis wählen.

Innerhalb eines Projekts bietet die Liste oben auch Projektstandard an, einen Platzhalter für das Konto, das im Projekt aktuell als Standard festgelegt ist. Ein neuer Schritt wählt „Projektstandard“ vorab aus, wenn das Projekt einen hat. Ein bestehender Schritt behält das Konto, mit dem er gespeichert wurde, bis Sie es ändern. Ein Schritt, der auf „Projektstandard“ steht, wird mit dem Konto ausgeführt, das zum Zeitpunkt der Ausführung der Projektstandard ist. Ist keiner festgelegt, schlägt die Ausführung fehl und nennt das Projekt, anstatt auf ein anderes Konto auszuweichen.

Zielverzeichnispfad

Wählen Sie das Symbol Durchsuchen rechts neben dem Zielverzeichnispfad und navigieren Sie zu dem Speicherort, an dem die Datei gespeichert werden soll.

Zieldateiname

Geben Sie den Namen an, unter dem die exportierte Datei gespeichert werden soll.

Dateikomprimierung auswählen

Alle exportierten Dateien sind unkomprimiert, aber die folgenden Komprimierungsoptionen stehen zur Verfügung:

• Keine Komprimierung
• Zip
• GZip
• BZip2

Datenformat

Trennzeichen

Der Schritt Export to CSV exportiert Datentabellen in Textdateien mit Trennzeichen, die in PlaidCloud Document gespeichert werden. Dazu gehören unter anderem die folgenden Trennzeichentypen:

• Excel CSV (durch Komma getrennt)

• Excel TSV (durch Tabulator getrennt)

• User Defined Separator –>

  • Komma (,)
  • Pipe (|)
  • Semikolon (;)
  • Tabulator
  • Leerzeichen ( )
  • andere/benutzerdefiniert (Tilde, Bindestrich usw.)

Um ein benutzerdefiniertes Trennzeichen anzugeben, wählen Sie User Defined Separator –> und dann Other –> und geben Sie das benutzerdefinierte Trennzeichen in das Textfeld ein.

Sonderzeichen

Im Abschnitt Sonderzeichen legen Benutzer fest, wie Daten mit Anführungszeichen und Escape-Zeichen behandelt werden. Wählen Sie aus den folgenden Einstellungen:

• Sonderzeichen (QUOTE_MINIMAL): Setzt Felder mit Sonderzeichen in Anführungszeichen (alles, was einen Parser mit demselben Dialekt und denselben Optionen verwirren würde). Dies ist die Standardeinstellung.
• Alle (QUOTE_ALL): Setzt alles in Anführungszeichen, unabhängig vom Typ.
• Nicht numerisch (QUOTE_NONNUMERIC): Setzt alle Felder in Anführungszeichen, die keine Ganzzahlen oder Gleitkommazahlen sind. Beim Einsatz mit dem Reader werden nicht in Anführungszeichen stehende Eingabefelder in Gleitkommazahlen umgewandelt.
• Keine (QUOTE_NONE): Setzt bei der Ausgabe nichts in Anführungszeichen. Anführungszeichen werden mit dem vom Benutzer angegebenen Escape-Zeichen in die Ausgabe aufgenommen. Beachten Sie, dass nur ein einziges Escape-Zeichen angegeben werden kann.

Standardmäßig wird ein Anführungszeichen innerhalb eines Felds in Anführungszeichen doppelt geschrieben (""). Aktivieren Sie escape_quotes, um es stattdessen mit dem Escape-Zeichen zu schreiben, wie es Spark tut: Mit \ als Escape-Zeichen wird das Feld say "hi" als "say \"hi\"" geschrieben. Die Einstellung ist standardmäßig deaktiviert, sodass bestehende Exporte unverändert bleiben.

Ein Wert, der ein Anführungszeichen enthält, wird standardmäßig allein aus diesem Grund in Anführungszeichen gesetzt. Deaktivieren Sie Werte in Anführungszeichen setzen, die das Anführungszeichen enthalten, um einen solchen Wert ohne umschließende Anführungszeichen zu schreiben, wie es Spark mit deaktiviertem escapeQuotes tut; ein Wert, der das Trennzeichen oder einen Zeilenumbruch enthält, wird weiterhin in Anführungszeichen gesetzt. Das Kontrollkästchen ist standardmäßig aktiviert. Ist es deaktiviert, wird die Datei von PlaidCloud statt vom Warehouse geschrieben.

Lassen Sie Anführungszeichen leer, um jeden Wert genau so zu schreiben, wie er ist: Nichts wird in Anführungszeichen gesetzt und nichts maskiert. Ein Wert, der das Trennzeichen oder einen Zeilenumbruch enthält, wird dann als mehrere Felder zurückgelesen; wählen Sie daher ein Trennzeichen, das Ihre Daten nicht enthalten.

Kopfzeile in die erste Zeile schreiben

Ist dieses Kontrollkästchen aktiviert, werden die Tabellenköpfe in die erste Zeile exportiert. Ist es nicht aktiviert, enthält die exportierte Datei keine Köpfe.

Datentypen in Köpfe aufnehmen

Ist dieses Kontrollkästchen aktiviert, enthalten die Köpfe der exportierten Datei den Datentyp der Spalte.

Windows-Zeilenenden

Schließlich ist das Kontrollkästchen Use Windows Compatible Line Endings standardmäßig aktiviert, um die Kompatibilität mit Windows-Systemen sicherzustellen. Es empfiehlt sich, diese Einstellung aktiviert zu lassen, sofern Sie nicht in einer reinen Unix-Umgebung arbeiten.

Wenn die Datei existiert

Unter Weitere CSV-Optionen bestimmt Eine bereits vorhandene Datei (if_exists), was geschieht, wenn die Datei bereits vorhanden ist: replace (Standard) schreibt eine neue Datei, append fügt die Zeilen ohne Kopfzeile am Ende der vorhandenen Datei an, und fail stoppt den Schritt, ohne etwas zu schreiben. Ein Anfügen lädt die Datei herunter, fügt die Zeilen hinzu und lädt sie wieder hoch; wenn zwei Ausführungen gleichzeitig an dieselbe Datei anfügen, gewinnt daher die zuletzt beendete. Wählen Sie bei append Kopfzeile unter den vorhandenen Zeilen erneut schreiben (header_on_append), um die Kopfzeile unter den bereits vorhandenen Zeilen erneut zu schreiben.

Zusätzliche Einstellungen

Weitere CSV-Optionen enthält außerdem diese Felder:

• Zeilen sortieren nach (sort_columns) – sortiert die geschriebenen Zeilen nach diesen Quellspalten, zuerst der erste Schlüssel, jeweils mit den Einstellungen Spalte, Aufsteigend und Nullwerte. Eine Schlüsselspalte muss nicht geschrieben werden. Nullwerte steht bei aufsteigender Sortierung standardmäßig am Anfang und bei absteigender am Ende. Wird nicht zusammen mit Zusammenfassen oder Eindeutig verwendet.
• Zeilenende (line_ending) – das Zeilenende jeder Zeile, \n, \r\n oder \r, anstelle von Use Windows Compatible Line Endings.
• Anführungszeichen setzen (quote_mode) – welche Werte in Anführungszeichen gesetzt werden: Nie, Immer, Jeder Wert außer Zahlen und Booleschen Werten oder Ein Wert, der das Trennzeichen enthält. Standardmäßig wird ein Wert in Anführungszeichen gesetzt, wenn es nötig ist.
• Schließendes Anführungszeichen (quote_end) – das schließende Anführungszeichen, wenn es sich vom öffnenden unterscheidet.
• Schließendes Anführungszeichen im Wert (quote_replacement) – wird anstelle eines schließenden Anführungszeichens innerhalb eines in Anführungszeichen stehenden Werts geschrieben. Bleibt das Feld leer, wird das Anführungszeichen verdoppelt.
• Trennzeichen im Wert (delimiter_replacement) – wird bei Anführungszeichen setzen auf Nie anstelle des Trennzeichens innerhalb eines Werts geschrieben.
• Datei mit einer Byte-Reihenfolge-Markierung beginnen (write_bom) – beginnt die Datei mit einer Byte-Reihenfolge-Markierung.
• Dezimaltrennzeichen (decimal_separator) – das Zeichen, das für das Dezimalkomma einer Zahl geschrieben wird.
• Zeilen vor der Kopfzeile (comment_lines) – ein JSON-Array von Zeilen, die unverändert vor der Kopfzeile geschrieben werden.
• Write decimal numbers as Java does (scientific_numbers) – schreibt eine Dezimalzahl ab 10 Millionen und unter 0,001 in wissenschaftlicher Notation, etwa 1.0E10.
• Jeden Dateinamen wie angegeben schreiben, ohne .csv oder .tsv anzuhängen (keep_file_extension) – schreibt jeden Dateinamen genau wie angegeben.
• Bei gzip die Datei unter dem angegebenen Namen speichern, ohne .gz anzuhängen (exact_file_name) – speichert die Datei bei gzip-Komprimierung unter dem angegebenen Namen.

Tabellendatenauswahl

Data-Mapper-Konfiguration

Der Data Mapper ordnet Spalten der Quelldaten der Zieldatentabelle zu.

Untersuchen und Füllen des Mappers

Mit der Menüschaltfläche Quelle untersuchen stehen Ihnen weitere Möglichkeiten zur Verfügung, Spalten von der Quelle dem Ziel zuzuordnen:

• Beide Zuordnungstabellen füllen: Übernimmt alle Werte aus der Quelldatentabelle in die Zieldatentabelle. Dies ist die Standardeinstellung.
• Nur Quellzuordnungstabelle füllen: Ordnet nur alle Werte in der Quelldatentabelle zu. Das ist hilfreich, wenn Sie einen bestehenden Workflow ändern und sich die Spaltenstruktur der Quelle geändert hat.
• Nur Zielzuordnungstabelle füllen: Übernimmt alle Werte nur in die Zieldatentabelle.

Reichen die Optionen für Quell- und Zielspalten nicht aus, können Sie auf verschiedene Weise weitere Spalten in die Zieldatentabelle einfügen:

• Alle übernehmen fügt alle Quellspalten in die Zieldatentabelle ein, unabhängig davon, ob sie dort bereits vorhanden sind.
• Ausgewählte übernehmen fügt nur die ausgewählten Quellspalten ein.
• Klicken Sie mit der rechten Maustaste auf die Zielseite und wählen Sie Zeile einfügen, um direkt über der aktuell ausgewählten Zeile eine Zeile einzufügen.
• Klicken Sie mit der rechten Maustaste auf die Zielseite und wählen Sie Zeile anhängen, um am unteren Ende (ganz rechts) der Zieldatentabelle eine Zeile einzufügen.

Gefahr

Wenn Sie Alle übernehmen auswählen, werden Spalten dupliziert, die bereits in der Zielliste vorhanden sind

Spalten löschen

Um Spalten aus der Zieldatentabelle zu löschen, wählen Sie die gewünschten Spalten aus, klicken Sie mit der rechten Maustaste und wählen Sie Löschen.

Quellspalten, die nicht mehr aufgeführt sind

Eine Zielzeile kann eine Quellspalte benennen, die die Quelldatentabelle nicht mehr aufführt, zum Beispiel nachdem die Quelle erneut untersucht wurde. Der Schritt entfernt eine solche Zeile nie von selbst. Stattdessen wird der Spaltenname rot hinter einem Warnsymbol ⚠ angezeigt, und beim Daraufzeigen erscheint der Hinweis, dass die Spalte nicht in den Quellspalten enthalten ist. Bei einem Schritt mit mehreren Tabellen, etwa einer Union, wird jede Tabelle anhand ihrer eigenen Quellspalten geprüft.

Eine Zeile mit einer Konstante, einem Ausdruck oder einer Zusammenfassung Anzahl (einschließlich Nullwerte) wird nie markiert, da der Schritt ihre Quellspalte nicht liest. Solange die Quelldatentabelle keine Spalten aufführt, wird nichts markiert, zum Beispiel bevor die Quelle zum ersten Mal untersucht wurde.

Wenn Sie einen Schritt speichern, der noch markierte Zeilen enthält, listet ein Dialog Veraltete Spalten gefunden diese unter der Registerkarte oder Tabelle auf, auf der sie sich befinden, und bietet drei Optionen:

• Alle entfernen und speichern — die markierten Zeilen entfernen und anschließend speichern.
• Trotzdem speichern — den Schritt unverändert speichern.
• Abbrechen — zum Schritt zurückkehren, ohne zu speichern.

Um eine Zeile beizubehalten und ihre Warnung zu beseitigen, fügen Sie die Spalte wieder zur Quelldatentabelle hinzu oder wählen Sie eine Spalte, die die Quelldatentabelle aufführt.

Spaltendatentyp

Jede Zielspalte hat einen Typ. Eine aus der Quelle übernommene Spalte behält den Typ der Quellspalte; eine von Hand hinzugefügte Zeile beginnt als Text, und Sie legen den Typ fest, den sie tatsächlich haben soll — eine Spalte, die Sie summieren oder sortieren möchten, benötigt ihren numerischen Typ oder Datumstyp, denn Text wird als Text sortiert und summiert.

Ein Schritt, der mit einer Spalte ohne jeden Typ gespeichert wurde, wird trotzdem ausgeführt. Der Typ wird beim Start des Schritts anhand der Quellspalte ermittelt, die diese Spalte liest. Gibt es nichts, woraus er sich ablesen ließe, wird er als Text behandelt: Die Spalten eines Schritts SQL extrahieren stammen aus der von Ihnen geschriebenen Abfrage und nicht aus einer zugeordneten Quelle, und wenn mehrere Quellen dieselbe Spaltenbezeichnung mit unterschiedlichen Typen führen, wird Text verwendet, statt einen davon zu erraten — eine falsche Vermutung führt zu einer Konvertierung, die das Warehouse ablehnen kann, und alles lässt sich in Text umwandeln.

Achtung

Mehrtabellen-Join ist bewusst die Ausnahme. Er weigert sich auszuführen und nennt stattdessen die Spalte, was in einem Schritt, der mehrere Tabellen verknüpft, hilfreicher ist als eine Vermutung. Legen Sie den Typ dieser Spalte fest und speichern Sie erneut.

Den Typ selbst festzulegen ist weiterhin der Weg, um zu bestimmen, was eine Spalte sein soll. Lassen Sie ihn leer, übernehmen Sie, was auch immer die Quellspalte gerade ist.

Spaltenreihenfolge ändern

Um Spalten in der Zieldatentabelle neu anzuordnen, wählen Sie die gewünschten Spalten aus. Dazu haben Sie zwei Möglichkeiten:

• Pfeile für Massenverschiebung: Wählen Sie die gewünschte Verschiebeoption über die Pfeile oben rechts aus.
• Kontextmenü: Klicken Sie mit der rechten Maustaste und wählen Sie An den Anfang verschieben, Nach oben, Nach unten oder An das Ende verschieben.

Ergebnis auf eindeutige Datensätze beschränken

Um nur eindeutige Werte zurückzugeben, wählen Sie die Menüoption Eindeutig. Dadurch wird für jede Spalte der Quelle ein Kontrollkästchen eingeblendet. Aktivieren Sie einfach das Kontrollkästchen neben der jeweiligen Spalte, um nur eindeutige Ergebnisse zurückzugeben.

Je nach Situation kann es sinnvoll sein, stattdessen eine Zusammenfassung in Betracht zu ziehen.

Beim Eindeutig-Verfahren bleibt der erste gefundene eindeutige Datensatz erhalten, die übrigen werden verworfen. Wenn Konsistenz zwischen den Ausführungen wichtig ist, sollten Sie die Daten sortieren.

Gefahr

Wenn Sie alle Spalten zur Bestimmung der Eindeutigkeit auswählen, kann es so aussehen, als würde sie nicht angewendet. Wählen Sie nur die Spalten aus, die Ihrer Ansicht nach die Eindeutigkeit der Daten bestimmen.

Aggregation und Gruppierung

Um Ergebnisse zu aggregieren, wählen Sie die Menüoption Zusammenfassen. Dadurch wird für jede Spalte in der Zieldatentabelle ein Auswahlfeld eingeblendet. Wählen Sie für jede Spalte eine geeignete Zusammenfassungsmethode aus.

Wenn Quelle untersuchen die Spalten füllt, beginnt eine Zahlenspalte als Gruppieren nach statt als Summe, wenn ihr Name wie ein Bezeichner aussieht, etwa id, customer_id, Order No oder CustomerKey, wenn ihre Tabelle sie als Schlüssel festlegt oder wenn der Join sie als Schlüssel verwendet.

• Gruppieren nach
• Summe
• Min
• Max
• Erster
• Letzter
• Anzahl
• Anzahl (einschließlich Nullwerte)
• Mittelwert
• Standardabweichung
• Stichproben-Standardabweichung
• Grundgesamtheits-Standardabweichung
• Varianz
• Stichprobenvarianz
• Grundgesamtheitsvarianz
• Erweitert ohne Gruppierung

Hinweis

Bei Verwendung der Aggregation muss für alle Spalten ein Zusammenfassungstyp angegeben sein

Informationen zur erweiterten Nutzung des Data Mappers, etwa zu Ausdrücken, Bereinigung und Konstanten, finden Sie unter Erweiterte Nutzung des Data Mappers

Datenfilter

Für maximale Flexibilität stehen Datenfilter sowohl für die Quelldaten als auch für die Zieldaten zur Verfügung. Bei größeren Datensätzen kann es besonders vorteilhaft sein, Zeilen bereits in der Quelle herauszufiltern, sodass die übrigen Operationen auf einem kleineren Datensatz ausgeführt werden.

Teilmenge der Daten auswählen

Mit diesem Filtertyp filtern Sie die eingehenden Quelldaten anhand der angegebenen Bedingungen.

Sekundären Filter auf Ergebnisdaten anwenden

Mit diesem Filtertyp wenden Sie anhand der angegebenen Bedingungen einen Filter auf die Ergebnisdaten nach der Transformation an. Dadurch können Zeilen anhand der Ergebnisse komplexer Berechnungen, Zusammenfassungen oder Fensterfunktionen ausgeschlossen werden.

Zeilenbegrenzung der endgültigen Datentabelle (Limit)

Mit der Zeilenbegrenzung schränken Sie die Zeilen im Ergebnis anhand eines Bereichs und eines Startpunkts ein.

Hinweis

Aus Gründen der Konsistenz sollte für begrenzte Ergebnisse eine Sortierung angegeben werden.

Filtersyntax

Die Filtersyntax nutzt Python SQLAlchemy und entspricht damit der Syntax anderer Ausdrücke.

Beispiele und Ausdrucksfunktionen finden Sie im Bereich Ausdrücke.

Beispiele

Noch keine Beispiele …