Feste Breite importieren

Beschreibung

Importiert Textdateien, in denen Spalten durch Zeichenpositionen statt durch Trennzeichen definiert sind – das klassische Ausgabeformat von Mainframe und COBOL. Konfigurieren Sie die Spaltengrenzen (Startposition, Länge) pro Feld.

Häufig bei älteren ERP-Exporten, behördlichen Meldungen und Kontoauszugsformaten, bei denen die Daten für die Anzeige in festen Spalten statt für das Parsen mit Trennzeichen aufbereitet wurden.

Importe mit fester Breite werden über temporären Speicher gestreamt, statt die gesamte Datei in den Arbeitsspeicher zu laden, sodass auch sehr große Dateien ohne Speichermangel importiert werden.

Beispiele

Noch keine Beispiele …

Importparameter

Importquelle und -ziel

Mit der Dateiauswahl in dieser Transformation wählen Sie eine in einem PlaidCloud-Dokumentenspeicherort abgelegte Datei für den Import aus.

Sie können auch ein Verzeichnis zum Import auswählen. Dann werden alle darin enthaltenen Dateien im Rahmen der Transformationsausführung importiert.

Quellkonto

Wählen Sie ein PlaidCloud-Dokumentenkonto, auf das Sie Zugriff haben. Damit können Sie in der nächsten Auswahl ein Verzeichnis oder eine Datei auswählen.

Innerhalb eines Projekts bietet die Liste oben außerdem Projektstandard an — einen Platzhalter für das Konto, das im Projekt aktuell als Standard festgelegt ist. Ein neuer Schritt wählt Projektstandard vor, wenn das Projekt einen hat; ein vorhandener Schritt behält das Konto, mit dem er bereits gespeichert wurde, bis Sie es ändern. Ein Schritt, der auf Projektstandard belassen wird, läuft gegen das Konto, das zum Zeitpunkt der Ausführung der Projektstandard ist — ist keines festgelegt, schlägt die Ausführung fehl und nennt das Projekt, statt auf ein anderes Konto auszuweichen.

Option „Suchen“

Mit der Option Suchen finden Sie alle passenden Dateien unterhalb eines angegebenen Verzeichnispfads für den Import. Das ist besonders nützlich, wenn viele Dateien einbezogen werden müssen, die in verschachtelten Verzeichnissen liegen oder im selben Verzeichnis mit anderen Dateien gemischt sind, die Sie nicht importieren möchten.

Der ausgewählte Suchpfad ist das Verzeichnis, ab dem gesucht wird. Die Suche berücksichtigt alle Dateien in diesem Verzeichnis sowie in Unterverzeichnissen, die den angegebenen Suchbedingungen entsprechen. Stellen Sie sicher, dass sich die Suchkriterien auch auf die Dateien in den Unterverzeichnissen anwenden lassen.

Die Suche kann mit folgenden Bedingungen erfolgen:

Exakt: Der Suchtext muss exakt übereinstimmen
Beginnt mit: Jede Datei, die mit dem Suchtext beginnt
Enthält: Jede Datei, die den Suchtext enthält
Endet mit: Jede Datei, die mit dem Suchtext endet

Ein KI-Assistent oder die REST-API kann die Suche außerdem auf glob setzen, ein Platzhaltermuster wie CO Store*.yxdb, das ohne Beachtung der Groß- und Kleinschreibung auf den gesamten Dateinamen angewendet wird, oder auf regex, einen regulären Ausdruck, dem der gesamte Dateiname entsprechen muss. Ein regulärer Ausdruck unterscheidet zwischen Groß- und Kleinschreibung, sofern er nicht mit (?i) beginnt.

Quelldateipfad

Wenn eine bestimmte Datei oder ein Verzeichnis mit Dateien importiert werden soll, ist es besser, die Datei oder das Verzeichnis direkt auszuwählen, als die Suche zu verwenden.

Um die Datei oder das Verzeichnis auszuwählen, wählen Sie über die Schaltfläche „Durchsuchen“ den Pfad im oben ausgewählten Dokumentenkonto.

Variablenersetzung

Sowohl bei der Suchoption als auch bei der Auswahl einer bestimmten Datei oder eines Verzeichnisses können Variablen im Pfad, im Suchtext und in Dateinamen verwendet werden.

Ein Beispiel, das die Variable current_month verwendet, um dynamisch auf die richtige Datei zu verweisen:

legal_entity/inputs/{current_month}/ledger_values.csv

Zieltabelle

Die Zielauswahl für Importe ist auf Tabellen beschränkt, da Ansichten keine zugrunde liegenden Daten enthalten.

Option „Dynamisch“

Mit der Option „Dynamisch“ geben Sie eine Tabelle als Text an, auch mit Variablen. Das ist nützlich bei variablengesteuerten Workflows, in denen Tabellen- und Ansichtsverweise relativ zu den angegebenen Variablen sind.

Ein Beispiel, das die Variable current_month verwendet, um dynamisch auf die Zieltabelle zu verweisen:

legal_entity/inputs/{current_month}/ledger_values

Option „Statisch“

Wenn eine bestimmte Tabelle als Ziel des Imports gewünscht ist, lassen Sie das Kontrollkästchen Dynamisch deaktiviert und wählen Sie die Zieltabelle aus.

Ist die Zieltabelle nicht vorhanden, wählen Sie die Schaltfläche Neu erstellen, um die Tabelle am gewünschten Speicherort zu erstellen.

Der Tabellen-Explorer ist bei jeder Tabellenauswahl verfügbar. Klicken Sie rechts neben der Tabellenauswahl auf die Schaltfläche „Tabellen-Explorer“, um ein Tabellen-Explorer-Fenster zu öffnen.

Option „Nicht-ASCII-Zeichen entfernen“

Wenn Sie diese Option auswählen, entfernt der Import jeden Inhalt, der nicht ASCII ist. PlaidCloud unterstützt Unicode (UTF-8) zwar vollständig, doch reale Dateien können alle möglichen Kodierungen und vereinzelte Zeichen enthalten, die ihre Verarbeitung erschweren.

Wenn der Inhalt der Datei voraussichtlich nur aus ASCII besteht, hilft das Aktivieren dieses Kontrollkästchens, einen reibungslosen Ablauf des Importvorgangs sicherzustellen.

Option „Dateien nach dem Import löschen“

Mit dieser Option löscht der Importvorgang die Datei nach einem erfolgreichen Import aus dem PlaidCloud-Dokumentenkonto.

Das ist nützlich, wenn die Importdateien aus einem führenden System neu erzeugt werden können oder es keinen Grund gibt, die Rohdateien nach ihrer Verarbeitung aufzubewahren.

Es werden nur Dateien gelöscht, die importiert wurden. Eine Datei, die übersprungen wurde oder beim Import eine Warnung ausgelöst hat, verbleibt im Ordner.

Option „Erneuten Import überspringen, wenn Quelldateien unverändert sind“

Wenn diese Option aktiviert ist, überspringt eine Workflow-Ausführung dieses Schritts den gesamten Import — Download, Konvertierung und Neuaufbau der Tabelle —, sofern die Quelldateien und die Einstellungen des Schritts seit der letzten erfolgreichen Ausführung unverändert sind. So vermeiden Sie wiederholte Arbeit, wenn ein geplanter Workflow erneut auf Quelldateien läuft, die sich nicht geändert haben.

Der Schritt vergleicht jede Quelldatei anhand von Pfad, Größe und Zeitpunkt der letzten Änderung (zusätzlich anhand eines Inhalts-Hashes, sofern die Quelle einen liefert). Wird eine Datei hinzugefügt, entfernt oder geändert oder ändert sich die Konfiguration des Schritts, läuft der Import normal. Die Option ist standardmäßig aktiviert — deaktivieren Sie sie, um immer erneut zu importieren —, und manuelle, einmalige Importe laufen immer.

Das Überspringen setzt außerdem voraus, dass die Zieltabelle noch die Zeilen enthält, die der letzte Import geladen hat. Wurde die Tabelle seitdem geleert oder lässt sich ihre Zeilenanzahl nicht lesen, läuft der Import erneut, statt zu überspringen und nachgelagerte Schritte ohne Daten zu lassen.

Einige Quellen (zum Beispiel SFTP) liefern keinen Inhalts-Hash, sodass bei ihnen allein Größe und Zeitpunkt der letzten Änderung der Datei das Änderungssignal bilden. Eine Datei, die an Ort und Stelle mit gleicher Größe und gleichem Änderungszeitpunkt ersetzt wird, würde dann als unverändert behandelt und übersprungen — deaktivieren Sie diese Option bei einem Schritt, dessen Quelle auf diese Weise aktualisiert werden kann.

Kopfzeile

Da Excel-Dateien eine Kopfzeile enthalten können oder nicht, bietet PlaidCloud die Möglichkeit, die Kopfzeilen zu verwenden, sie zu ignorieren oder die Spaltenreihenfolge zur Bestimmung der Spaltenausrichtung zu nutzen.

Keine Kopfzeile: Die Datei enthält keine Kopfzeile. Verwenden Sie die Quellliste im Data Mapper, um die Spaltenausrichtung zu bestimmen.
Mit Kopfzeile – Kopfzeile verwenden und Feldliste überschreiben: Die Datei hat eine Kopfzeile. Verwenden Sie die angegebenen Kopfzeilennamen und ignorieren Sie die Quellliste im Data Mapper.
Mit Kopfzeile – Kopfzeile überspringen und stattdessen Feldliste verwenden: Die Datei hat eine Kopfzeile, sie soll aber ignoriert werden. Verwenden Sie die Namen, die die Quellliste im Data Mapper vorgibt.

Zeilenauswahl

Bei Eingabedateien mit überflüssigen Datensätzen können Sie eine Anzahl von Zeilen angeben, die vor der Verarbeitung der Daten übersprungen werden. Das ist nützlich, wenn Dateien Kopfblöcke enthalten, die übersprungen werden müssen, bevor die tabellarischen Daten beginnen.

Spaltenbreiten

Geben Sie die Breiten der Spalten durch Kommas oder Leerzeichen getrennt ein.

Layout

Einstellung	Funktion
Kodierung	Der Zeichensatz der Datei: UTF-8 (Standard), EBCDIC (USA, cp037), EBCDIC (International, cp500) oder Latin-1. Wählen Sie für eine Mainframe-Datei eine EBCDIC-Codepage.
Zu überspringende Datensätze	Wie viele Datensätze am Anfang der Datei übersprungen werden, vor der Kopfzeile oder den Daten.
Am Ende zu verwerfende Datensätze	Wie viele Datensätze am Ende der Datei verworfen werden, etwa ein Abschlussdatensatz.
Ein Datensatz pro Zeile	Aktiviert (Standard) ist jede Zeile ein Datensatz. Deaktivieren Sie die Option für eine Datei, deren Datensätze ohne Zeilenumbrüche aneinandergereiht sind; jeder Datensatz ist dann so lang wie die Spaltenbreiten zusammen.
Zeichen zwischen Datensätzen	Wenn Datensätze nicht zeilenweise vorliegen: wie viele Zeichen nach jedem Datensatz übersprungen werden, etwa ein Trennzeichen.
Leerzeichen entfernen	Die Leerzeichen, die aus jedem Wert entfernt werden: Führende und nachgestellte (Standard), Nur nachgestellte oder Keine.

Tabellendatenauswahl

Data-Mapper-Konfiguration

Tabellen-Data-Mapper

Der Data Mapper ordnet Spalten der Quelldaten der Zieldatentabelle zu.

Untersuchen und Füllen des Mappers

Mit der Menüschaltfläche Quelle untersuchen stehen Ihnen weitere Möglichkeiten zur Verfügung, Spalten von der Quelle dem Ziel zuzuordnen:

Beide Zuordnungstabellen füllen: Übernimmt alle Werte aus der Quelldatentabelle in die Zieldatentabelle. Dies ist die Standardeinstellung.
Nur Quellzuordnungstabelle füllen: Ordnet nur alle Werte in der Quelldatentabelle zu. Das ist hilfreich, wenn Sie einen bestehenden Workflow ändern und sich die Spaltenstruktur der Quelle geändert hat.
Nur Zielzuordnungstabelle füllen: Übernimmt alle Werte nur in die Zieldatentabelle.

Reichen die Optionen für Quell- und Zielspalten nicht aus, können Sie auf verschiedene Weise weitere Spalten in die Zieldatentabelle einfügen:

Alle übernehmen fügt alle Quellspalten in die Zieldatentabelle ein, unabhängig davon, ob sie dort bereits vorhanden sind.
Ausgewählte übernehmen fügt nur die ausgewählten Quellspalten ein.
Klicken Sie mit der rechten Maustaste auf die Zielseite und wählen Sie Zeile einfügen, um direkt über der aktuell ausgewählten Zeile eine Zeile einzufügen.
Klicken Sie mit der rechten Maustaste auf die Zielseite und wählen Sie Zeile anhängen, um am unteren Ende (ganz rechts) der Zieldatentabelle eine Zeile einzufügen.

Spalten löschen

Um Spalten aus der Zieldatentabelle zu löschen, wählen Sie die gewünschten Spalten aus, klicken Sie mit der rechten Maustaste und wählen Sie Löschen.

Quellspalten, die nicht mehr aufgeführt sind

Eine Zielzeile kann eine Quellspalte benennen, die die Quelldatentabelle nicht mehr aufführt, zum Beispiel nachdem die Quelle erneut untersucht wurde. Der Schritt entfernt eine solche Zeile nie von selbst. Stattdessen wird der Spaltenname rot hinter einem Warnsymbol ⚠ angezeigt, und beim Daraufzeigen erscheint der Hinweis, dass die Spalte nicht in den Quellspalten enthalten ist. Bei einem Schritt mit mehreren Tabellen, etwa einer Union, wird jede Tabelle anhand ihrer eigenen Quellspalten geprüft.

Eine Zeile mit einer Konstante, einem Ausdruck oder einer Zusammenfassung Anzahl (einschließlich Nullwerte) wird nie markiert, da der Schritt ihre Quellspalte nicht liest. Solange die Quelldatentabelle keine Spalten aufführt, wird nichts markiert, zum Beispiel bevor die Quelle zum ersten Mal untersucht wurde.

Wenn Sie einen Schritt speichern, der noch markierte Zeilen enthält, listet ein Dialog Veraltete Spalten gefunden diese unter der Registerkarte oder Tabelle auf, auf der sie sich befinden, und bietet drei Optionen:

Alle entfernen und speichern — die markierten Zeilen entfernen und anschließend speichern.
Trotzdem speichern — den Schritt unverändert speichern.
Abbrechen — zum Schritt zurückkehren, ohne zu speichern.

Um eine Zeile beizubehalten und ihre Warnung zu beseitigen, fügen Sie die Spalte wieder zur Quelldatentabelle hinzu oder wählen Sie eine Spalte, die die Quelldatentabelle aufführt.

Spaltendatentyp

Jede Zielspalte hat einen Typ. Eine aus der Quelle übernommene Spalte behält den Typ der Quellspalte; eine von Hand hinzugefügte Zeile beginnt als Text, und Sie legen den Typ fest, den sie tatsächlich haben soll — eine Spalte, die Sie summieren oder sortieren möchten, benötigt ihren numerischen Typ oder Datumstyp, denn Text wird als Text sortiert und summiert.

Ein Schritt, der mit einer Spalte ohne jeden Typ gespeichert wurde, wird trotzdem ausgeführt. Der Typ wird beim Start des Schritts anhand der Quellspalte ermittelt, die diese Spalte liest. Gibt es nichts, woraus er sich ablesen ließe, wird er als Text behandelt: Die Spalten eines Schritts SQL extrahieren stammen aus der von Ihnen geschriebenen Abfrage und nicht aus einer zugeordneten Quelle, und wenn mehrere Quellen dieselbe Spaltenbezeichnung mit unterschiedlichen Typen führen, wird Text verwendet, statt einen davon zu erraten — eine falsche Vermutung führt zu einer Konvertierung, die das Warehouse ablehnen kann, und alles lässt sich in Text umwandeln.

Den Typ selbst festzulegen ist weiterhin der Weg, um zu bestimmen, was eine Spalte sein soll. Lassen Sie ihn leer, übernehmen Sie, was auch immer die Quellspalte gerade ist.

Spaltenreihenfolge ändern

Um Spalten in der Zieldatentabelle neu anzuordnen, wählen Sie die gewünschten Spalten aus. Dazu haben Sie zwei Möglichkeiten:

Pfeile für Massenverschiebung: Wählen Sie die gewünschte Verschiebeoption über die Pfeile oben rechts aus.
Kontextmenü: Klicken Sie mit der rechten Maustaste und wählen Sie An den Anfang verschieben, Nach oben, Nach unten oder An das Ende verschieben.

Ergebnis auf eindeutige Datensätze beschränken

Um nur eindeutige Werte zurückzugeben, wählen Sie die Menüoption Eindeutig. Dadurch wird für jede Spalte der Quelle ein Kontrollkästchen eingeblendet. Aktivieren Sie einfach das Kontrollkästchen neben der jeweiligen Spalte, um nur eindeutige Ergebnisse zurückzugeben.

Je nach Situation kann es sinnvoll sein, stattdessen eine Zusammenfassung in Betracht zu ziehen.

Beim Eindeutig-Verfahren bleibt der erste gefundene eindeutige Datensatz erhalten, die übrigen werden verworfen. Wenn Konsistenz zwischen den Ausführungen wichtig ist, sollten Sie die Daten sortieren.

Aggregation und Gruppierung

Um Ergebnisse zu aggregieren, wählen Sie die Menüoption Zusammenfassen. Dadurch wird für jede Spalte in der Zieldatentabelle ein Auswahlfeld eingeblendet. Wählen Sie für jede Spalte eine geeignete Zusammenfassungsmethode aus.

Wenn Quelle untersuchen die Spalten füllt, beginnt eine Zahlenspalte als Gruppieren nach statt als Summe, wenn ihr Name wie ein Bezeichner aussieht, etwa id, customer_id, Order No oder CustomerKey, wenn ihre Tabelle sie als Schlüssel festlegt oder wenn der Join sie als Schlüssel verwendet.

Gruppieren nach
Summe
Min
Max
Erster
Letzter
Anzahl
Anzahl (einschließlich Nullwerte)
Mittelwert
Standardabweichung
Stichproben-Standardabweichung
Grundgesamtheits-Standardabweichung
Varianz
Stichprobenvarianz
Grundgesamtheitsvarianz
Erweitert ohne Gruppierung

Informationen zur erweiterten Nutzung des Data Mappers, etwa zu Ausdrücken, Bereinigung und Konstanten, finden Sie unter Erweiterte Nutzung des Data Mappers

Datenfilter

Table Data Filters

Für maximale Flexibilität stehen Datenfilter sowohl für die Quelldaten als auch für die Zieldaten zur Verfügung. Bei größeren Datensätzen kann es besonders vorteilhaft sein, Zeilen bereits in der Quelle herauszufiltern, sodass die übrigen Operationen auf einem kleineren Datensatz ausgeführt werden.

Teilmenge der Daten auswählen

Mit diesem Filtertyp filtern Sie die eingehenden Quelldaten anhand der angegebenen Bedingungen.

Sekundären Filter auf Ergebnisdaten anwenden

Mit diesem Filtertyp wenden Sie anhand der angegebenen Bedingungen einen Filter auf die Ergebnisdaten nach der Transformation an. Dadurch können Zeilen anhand der Ergebnisse komplexer Berechnungen, Zusammenfassungen oder Fensterfunktionen ausgeschlossen werden.

Zeilenbegrenzung der endgültigen Datentabelle (Limit)

Mit der Zeilenbegrenzung schränken Sie die Zeilen im Ergebnis anhand eines Bereichs und eines Startpunkts ein.

Filtersyntax

Die Filtersyntax nutzt Python SQLAlchemy und entspricht damit der Syntax anderer Ausdrücke.

Beispiele und Ausdrucksfunktionen finden Sie im Bereich Ausdrücke.