Źródła Singer

Opis

Źródło Singer pozwala PlaidCloud pobierać dane z szerokiego katalogu aplikacji SaaS, interfejsów API i baz danych — takich jak Stripe, GitHub, Slack i BigQuery — za pomocą taps Singer. Każdy Tap to łącznik dla jednego źródła; Tap wybierasz podczas tworzenia połączenia, a PlaidCloud pokazuje pola konfiguracji, których ten Tap potrzebuje.

Korzystanie ze źródła Singer składa się z dwóch części:

1. Połączenie ze źródłem Singer przechowuje wybór Tap i jego ustawienia (token API, ID konta, data początkowa itd.).
2. Krok przepływu pracy Import Singer Source wykrywa dostępne strumienie Tap, pozwala wybrać, które zaimportować i gdzie każdy z nich ma trafić, oraz uruchamia wyodrębnianie.

Notatka

PlaidCloud dostarcza wyselekcjonowany katalog taps na liberalnych licencjach. Dokładne pola konfiguracji różnią się w zależności od Tap — formularz połączenia jest generowany na podstawie wybranego Tap.

Połączenie ze źródłem Singer przechowuje Tap i jego ustawienia; krok Import Singer Source wykrywa strumienie Tap i zapisuje wybrane przez Ciebie w tabelach projektu.

Zanim zaczniesz

Potrzebujesz danych uwierzytelniających do systemu źródłowego (na przykład osobistego tokenu dostępu GitHub lub klucza API Stripe) oraz projektu i przepływu pracy, w których dane mają trafić.

Tworzenie połączenia ze źródłem Singer

1. Otwórz Tools > Connections.
2. Kliknij Nowe połączenie i wybierz Źródło Singer.
3. Nadaj połączeniu Nazwa (na przykład GitHub (prod)).
4. Wybierz Tap z listy rozwijanej. Poniższy formularz przebudowuje się, aby pokazać pola tego Tap. Zobacz Źródła Singer, aby poznać pełny katalog i znaleźć odnośnik do dokumentacji konfiguracji każdego źródła.
5. Wypełnij pola konfiguracji Tap, a następnie kliknij Create.

Typy pól konfiguracji

Pola zależą od Tap, a każde jest wyświetlane zgodnie z wartością, jakiej oczekuje Tap:

• Tekst — wartość w jednym wierszu (na przykład ID konta lub data początkowa).

• Hasło — dane tajne, takie jak token lub klucz API. Dane tajne są tylko do zapisu: nie są wyświetlane podczas edycji połączenia, a pozostawienie pustego pola przy zapisie zachowuje zapisaną wartość.

• Numer — liczba całkowita lub dziesiętna (na przykład port lub rozmiar strony).

• Lista — jeden wpis na wiersz (na przykład lista repozytoriów lub ID projektów).

• JSON — wartość strukturalna wprowadzana jako JSON, używana, gdy Tap oczekuje obiektu lub tablicy obiektów. Na przykład definicje plików Tap CSV:

  [
    { "entity": "orders", "path": "/data/orders.csv", "keys": ["id"] }
  ]

• Pole wyboru — opcja włącz/wyłącz.

Pola wymagane są oznaczone, a formularz waliduje je (w tym poprawność formatu pól JSON i liczbowych) przed zapisaniem.

Importowanie strumieni do przepływu pracy

1. Otwórz przepływ pracy i przejdź do karty Analyze Steps.
2. Dodaj krok i wybierz jako typ Import: źródło Singer. Edytor otwiera się z kartą Źródło i kartą Strumienie.
3. Na karcie Źródło:
   • Wybierz Połączenie (swoje połączenie ze źródłem Singer).
   • Wybierz Tryb synchronizacji — Cała tabela (zastępowanie przy każdym uruchomieniu), Przyrostowo (dołączanie nowych danych) lub Upsert (scalanie według klucza).
   • Kliknij Wykryj strumienie. Wykrywanie działa na wykonawcy i za pierwszym razem może potrwać do około trzech minut; stan pokazuje, ile strumieni znaleziono.
4. Na karcie Strumienie zobaczysz jeden wiersz na każdy wykryty strumień. Dla każdego strumienia, który chcesz:
   • Otwórz jego panel Strumień i zaznacz Importuj ten strumień.
   • Wybierz Tabela docelowa, do której trafią dane strumienia.
   • Jeśli tryb synchronizacji to Upsert, ustaw Kolumny kluczowe strumienia — jedna nazwa kolumny na wiersz. Pole domyślnie przyjmuje klucz główny zadeklarowany przez Tap; zastąp go, aby scalać według innych kolumn. Każdy importowany strumień wymaga co najmniej jednej kolumny kluczowej, gdy tryb to Upsert.
5. Zapisz krok i uruchom go jako część przepływu pracy (lub osobno).

Uwaga

Wybrane strumienie są zapisanym zestawem. Aby zmienić, które strumienie są importowane, kliknij ponownie Wykryj strumienie — strumienie, które pojawią się ponownie, zachowują ustawioną już tabelę docelową i wybór.

Tryby synchronizacji

• Cała tabela (zastępowanie przy każdym uruchomieniu) wyodrębnia cały strumień ponownie przy każdym uruchomieniu i zastępuje tabelę docelową. Używaj go dla małych lub w pełni odświeżanych źródeł.
• Przyrostowo (dołączanie nowych danych) wyodrębnia tylko wiersze, które są nowe od ostatniego uruchomienia, i dołącza je, wznawiając od miejsca, w którym zakończyło się poprzednie uruchomienie. Działa tylko dla strumieni, które Tap potrafi synchronizować przyrostowo — czyli udostępniających klucz replikacji (taki jak znacznik czasu aktualizacji lub rosnący identyfikator). Jeśli wybierzesz tryb przyrostowy, a wybrany strumień nie ma klucza replikacji, krok prosi o przełączenie tego strumienia na całą tabelę lub o jego odznaczenie.
• Upsert (scalanie według klucza) wyodrębnia cały strumień ponownie przy każdym uruchomieniu, a następnie scala go z tabelą docelową według Kolumny kluczowe strumienia: wiersze, których klucz pasuje do istniejącego wiersza, są aktualizowane w miejscu, a wiersze z nowym kluczem są wstawiane. Istniejące wiersze, których nie ma w tym uruchomieniu, są zachowywane. Używaj go, aby utrzymywać tabelę zgodną ze źródłem, którego rekordy zmieniają się w czasie — bez duplikatów, jakie powstałyby przy dołączaniu, i bez pełnej przebudowy, jaką wykonałoby zastępowanie. Tabela docelowa jest tworzona przy pierwszym uruchomieniu, więc początkowy upsert wstawia każdy wiersz.

Notatka

Postęp przyrostowy jest śledzony dla każdego kroku. Pierwsze uruchomienie przyrostowe wyodrębnia wszystko; kolejne pobierają tylko nowe wiersze.

Notatka

Upsert wyodrębnia cały strumień ponownie przy każdym uruchomieniu (nie używa klucza replikacji), więc nadaje się do źródeł, w których istniejące wiersze są aktualizowane, a Ty chcesz mieć jeden wiersz na klucz. Ustaw Kolumny kluczowe każdego strumienia na karcie Strumienie; domyślnie przyjmują klucz główny zadeklarowany przez Tap.

Uwaga

Wybierz kolumny kluczowe, które są zawsze obecne. Upsert dopasowuje wiersze według dokładnej wartości klucza, a pusty (null) klucz nigdy nie pasuje do innego — więc wiersze z kluczem null są zawsze wstawiane zamiast scalane i mogą się kumulować w kolejnych uruchomieniach.

Jak obsługiwane są dane uwierzytelniające

Krok przechowuje odwołanie do połączenia, a nie kopię jego danych uwierzytelniających. Każde uruchomienie odczytuje bieżące dane uwierzytelniające połączenia w czasie uruchomienia. Dlatego gdy zmieniasz token lub klucz, aktualizujesz go raz w połączeniu, a każdy krok, który z niego korzysta, pobiera nową wartość przy następnym uruchomieniu — nie trzeba niczego aktualizować w poszczególnych krokach.

Wyodrębnianie działa w odizolowanym zadaniu, które otrzymuje tylko własną konfigurację Tap; nie ma dostępu do innych połączeń ani do wewnętrznych usług PlaidCloud.

Powiązane

• Katalog źródeł Singer — każde dostępne źródło i jego dokumentacja konfiguracji
• Opis kroku Import Singer Source
• Połączenia