Import Singer Source

Opis

Krok Import Singer Source (w selektorze kroków widoczny jako Import: źródło Singer) pobiera jeden lub kilka strumieni ze źródła Singer do tabel projektu. Źródło Singer to połączenie rodzaju Źródło Singer, które opakowuje tap Singer — złącze dla konkretnej aplikacji SaaS, API lub bazy danych, takiej jak Stripe, GitHub, Slack lub BigQuery. Krok wykrywa strumienie dostępne w tapie, Ty wybierasz, które zaimportować i gdzie każdy z nich ma trafić, a moduł uruchamiający wyodrębnia dane i ładuje je do celów.

Pełny opis krok po kroku znajdziesz w przewodniku po źródłach Singer; dostępne źródła i dokumentację ich konfiguracji znajdziesz w katalogu źródeł Singer.

Konfiguracja

Połączenie (wymagane) — połączenie rodzaju Źródło Singer.
Tryb synchronizacji (wymagany) — Cała tabela (zastępowanie przy każdym uruchomieniu), Przyrostowo (dołączanie nowych danych) lub Upsert (scalanie według klucza). Tryb przyrostowy działa tylko dla strumieni, które tap potrafi synchronizować przyrostowo (z kluczem replikacji); krok wznawia pracę od pozycji z poprzedniego uruchomienia. Upsert scala każde uruchomienie z celem według kolumn kluczowych strumienia.
Wykryj strumienie — uruchamia wykrywanie katalogu tapa w module uruchamiającym i wyświetla oferowane strumienie.
Strumienie (co najmniej jeden) — dla każdego wykrytego strumienia: Importuj ten strumień, aby go uwzględnić, oraz Tabela docelowa, w której ma się znaleźć. Każdy wybrany strumień wymaga tabeli docelowej. Gdy tryb synchronizacji to Upsert, każdy wybrany strumień wymaga też Kolumn kluczowych (jedna nazwa kolumny w wierszu) — kolumn, według których dopasowywany jest wiersz; domyślnie jest to klucz główny zadeklarowany przez tap.

Zachowanie

Wykrywanie działa jako osobne zadanie i przy zimnym starcie może trwać do około trzech minut; wynik jest buforowany, więc ponowne wykrywanie jest natychmiastowe.
Cała tabela zastępuje tabelę docelową przy każdym uruchomieniu; przyrostowo dołącza tylko wiersze nowe od ostatniego uruchomienia, według klucza replikacji tapa; upsert ponownie wyodrębnia cały strumień i scala go z celem według kolumn kluczowych każdego strumienia — pasujące wiersze są aktualizowane, nowe klucze wstawiane, a niedopasowane istniejące wiersze zachowywane. Cel jest tworzony przy pierwszym uruchomieniu. Wiersze z kolumną klucza o wartości null nigdy nie pasują i zawsze są wstawiane, dlatego wybierz kolumny kluczowe, które są zawsze obecne.
Wybrane strumienie są zapisanym zestawem — aby zmienić wybór, wykryj strumienie ponownie. Strumienie, które pojawią się ponownie, zachowują ustawioną tabelę docelową i wybór.
Dane uwierzytelniające źródła są odczytywane z połączenia w czasie uruchomienia, więc ich rotacja w połączeniu dotyczy każdego kroku, który go używa — bez aktualizacji w poszczególnych krokach.