Import Singer Source

Beschreibung

Der Schritt Import Singer Source (in der Schrittauswahl als Import: Singer-Quelle angezeigt) holt einen oder mehrere Streams aus einer Singer-Quelle in Projekttabellen. Eine Singer-Quelle ist eine Verbindung der Art Singer-Quelle, die einen Singer-Tap kapselt – einen Konnektor für eine bestimmte SaaS-Anwendung, API oder Datenbank, etwa Stripe, GitHub, Slack oder BigQuery. Der Schritt ermittelt die verfügbaren Streams des Taps, Sie wählen, welche importiert werden und wo jeder landet, und der Runner extrahiert die Daten und lädt sie in die Ziele.

Eine vollständige Anleitung finden Sie im Leitfaden zu Singer-Quellen; die verfügbaren Quellen und ihre Konfigurationsdokumentation finden Sie im Katalog der Singer-Quellen.

Konfiguration

Verbindung (erforderlich) – eine Verbindung der Art Singer-Quelle.
Synchronisierungsmodus (erforderlich) – Gesamte Tabelle (bei jeder Ausführung ersetzen), Inkrementell (neue Daten anfügen) oder Upsert (über Schlüssel zusammenführen). Inkrementell funktioniert nur für Streams, die der Tap inkrementell synchronisieren kann (solche mit einem Replikationsschlüssel); der Schritt setzt an der Position der vorherigen Ausführung fort. Upsert führt jede Ausführung über die Schlüsselspalten des Streams in das Ziel zusammen.
Streams ermitteln – führt die Katalogermittlung des Taps auf dem Runner aus und listet die angebotenen Streams auf.
Streams (mindestens einer) – für jeden ermittelten Stream: Diesen Stream importieren, um ihn einzubeziehen, und eine Zieltabelle, in der er landet. Jeder ausgewählte Stream braucht eine Zieltabelle. Ist der Synchronisierungsmodus Upsert, braucht jeder ausgewählte Stream zusätzlich Schlüsselspalten (ein Spaltenname pro Zeile) – die Spalten, über die eine Zeile zugeordnet wird; standardmäßig ist es der vom Tap deklarierte Primärschlüssel.

Verhalten

Die Ermittlung läuft als eigener Auftrag und kann bei einem Kaltstart bis zu etwa drei Minuten dauern; das Ergebnis wird zwischengespeichert, sodass eine wiederholte Ermittlung sofort erfolgt.
Gesamte Tabelle ersetzt die Zieltabelle bei jeder Ausführung; inkrementell fügt nur die Zeilen an, die seit der letzten Ausführung neu sind, anhand des Replikationsschlüssels des Taps; Upsert extrahiert den gesamten Stream erneut und führt ihn über die Schlüsselspalten jedes Streams in das Ziel zusammen – übereinstimmende Zeilen werden aktualisiert, neue Schlüssel eingefügt und nicht übereinstimmende vorhandene Zeilen beibehalten. Das Ziel wird bei der ersten Ausführung erstellt. Zeilen mit einem Nullwert in einer Schlüsselspalte stimmen nie überein und werden immer eingefügt; wählen Sie daher Schlüsselspalten, die immer vorhanden sind.
Die ausgewählten Streams sind die gespeicherte Menge – um die Auswahl zu ändern, ermitteln Sie die Streams erneut. Streams, die wieder erscheinen, behalten die von Ihnen festgelegte Zieltabelle und Auswahl.
Die Zugangsdaten der Quelle werden zur Laufzeit aus der Verbindung gelesen, sodass eine Rotation in der Verbindung für jeden Schritt gilt, der sie verwendet – keine Aktualisierung pro Schritt.