Przejdź do głównej zawartości

Zanim przejdziesz do zaawansowanych możliwości Data Mapper, warto krótko przypomnieć podstawową funkcjonalność.

Data Mapper służy do mapowania kolumn danych źródłowych na docelową tabelę danych.

Przycisk menu Sprawdź źródło udostępnia dodatkowe sposoby mapowania kolumn ze źródła na cel:

  • Wypełnij obie tabele mapowania: przenosi wszystkie wartości z tabeli danych źródłowych do docelowej tabeli danych. Jest to zachowanie domyślne.
  • Wypełnij tylko tabelę mapowania źródła: mapuje wyłącznie wszystkie wartości w tabeli danych źródłowych. Jest to przydatne przy modyfikowaniu istniejącego przepływu pracy, gdy zmieniła się struktura kolumn źródła.
  • Wypełnij tylko tabelę mapowania celu: przenosi wszystkie wartości wyłącznie do docelowej tabeli danych.

Jeśli opcje dla kolumn źródłowych i docelowych nie wystarczają, do docelowej tabeli danych można dodać kolejne kolumny na kilka sposobów:

  • Propaguj wszystko wstawia wszystkie kolumny źródłowe do docelowej tabeli danych, niezależnie od tego, czy już w niej istniały.
  • Propaguj zaznaczone wstawia tylko zaznaczone kolumny źródłowe.
  • Kliknij prawym przyciskiem myszy po stronie celu i wybierz Wstaw wiersz, aby wstawić wiersz bezpośrednio nad aktualnie zaznaczonym wierszem.
  • Kliknij prawym przyciskiem myszy po stronie celu i wybierz Dołącz wiersz, aby wstawić wiersz na końcu (po prawej stronie) docelowej tabeli danych.

Aby usunąć kolumny z docelowej tabeli danych, zaznacz wybrane kolumny, kliknij prawym przyciskiem myszy i wybierz Usuń.

Aby zmienić układ kolumn w docelowej tabeli danych, zaznacz wybrane kolumny. Możesz użyć jednej z metod:

  • Strzałki przenoszenia zbiorczego: wybierz odpowiednią opcję przenoszenia ze strzałek w prawym górnym rogu
  • Menu kontekstowe: kliknij prawym przyciskiem myszy i wybierz Przenieś na początek, Przenieś w górę, Przenieś w dół lub Przenieś na koniec.

Aby zwrócić tylko unikalne wartości, wybierz opcję menu Unikalne. Wyświetli to zestaw pól wyboru dla każdej kolumny źródła. Zaznacz pole obok odpowiedniej kolumny, aby zwrócić tylko unikalne wyniki.

Aby zagregować wyniki, wybierz opcję menu Podsumuj. Wyświetli to zestaw pól wyboru listy dla każdej kolumny docelowej tabeli danych. Wybierz odpowiednią metodę podsumowania dla każdej kolumny.

kolumny źródłowecust_idamtdtnotekolumny docelowecustomer_idamountorder_datezmiana nazwyrzutowanie → decimalzmiana nazwyniezmapowana → pominięta
Data Mapper łączy każdą kolumnę źródłową z kolumną docelową — po drodze zmieniając nazwy i rzutując typy. Niezmapowane kolumny źródłowe nie trafiają do wyniku.

Aby zagregować wyniki, wybierz opcję menu Podsumuj. Wyświetli to zestaw pól wyboru listy dla każdej kolumny docelowej tabeli danych. Dostępne są następujące opcje podsumowania:

Funkcja Opis
Grupuj według Grupuje wyniki według wartości
Liczba Liczba niepustych obserwacji w grupie
Liczba (z wartościami pustymi) Liczba obserwacji w grupie
Suma Suma wartości w grupie
Średnia Średnia wartości w grupie
Mediana Mediana wartości w grupie
Dominanta Dominanta wartości w grupie
Minimum Minimum wartości w grupie
Maksimum Maksimum wartości w grupie
Pierwsza Pierwsza wartość w grupie według uporządkowania
Ostatnia Ostatnia wartość w grupie według uporządkowania
Odchylenie standardowe Nieobciążone odchylenie standardowe w grupie
Odchylenie standardowe z próby Odchylenie standardowe z próby w grupie
Odchylenie standardowe z populacji Odchylenie standardowe z populacji w grupie
Wariancja Nieobciążona wariancja w grupie
Wariancja z próby Wariancja z próby w grupie
Wariancja z populacji Wariancja z populacji w grupie
Zaawansowane (bez grupowania) Specjalny wybór agregacji przy użyciu funkcji okna

Wybierz odpowiednią metodę podsumowania dla kolumny.

Gdy konfigurujesz krok przez REST API lub asystenta AI, każda kolumna docelowa przechowuje swoje podsumowanie w agg, a aggregation_type kroku wybiera te same opcje. Każdy krok z Data Mapper akceptuje następujące wartości:

Klucz Podsumowanie
group Grupuj według
dont_group Zaawansowane (bez grupowania): kolumna nie jest ani grupowana, ani agregowana — dla wyrażeń, które same agregują lub używają funkcji okna
count Liczba niepustych obserwacji w grupie
count_null Liczba z wartościami pustymi
count_distinct Liczba unikalnych wartości w grupie
sum Suma
avg Średnia
median Mediana
min Minimum
max Maksimum
stddev Odchylenie standardowe
stddev_samp Odchylenie standardowe z próby
stddev_pop Odchylenie standardowe z populacji
variance Wariancja
var_samp Wariancja z próby

Każda kolumna docelowa może mieć sort: asc, desc lub none, albo obiekt {ascending, order}. ascending przyjmuje wartość true lub false. order to liczba całkowita ustalająca priorytet klucza: kolumny z order są sortowane jako pierwsze, od najniższej liczby, a pozostałe posortowane kolumny następują w kolejności ich położenia.

Gdy używasz funkcji okna, wybierz Zaawansowane (bez grupowania) jako metodę agregacji. Ten specjalny wybór jest wymagany, ponieważ funkcja okna sama w sobie zawiera już agregację.

Podanie wartości w kolumnie Stała zastępuje wartość kolumny źródłowej, jeśli została określona, i wypełnia kolumnę podaną stałą.

Kolumna docelowa pobiera wartość z tego z wymienionych pól, które wypełnisz, w tej kolejności: najpierw wygrywa Stała, następnie Wyrażenie, a na końcu kolumna Źródło.

Kolumna, która sama oblicza swoją wartość, nie potrzebuje więc pola Źródło. Pozostaw je puste przy stałej lub wyrażeniu — stała lub wyrażenie już określa wartość, a Źródło podane obok jest ignorowane. Wypełnij Źródło, gdy przepuszczasz kolumnę wprost z danych przychodzących, zmieniasz jej nazwę lub rzutujesz ją po drodze.

Wyrażenie odczytuje kolumny przychodzące po nazwie, za pomocą get_column(table, 'Column Name'), a nie przez komórkę Źródło.

Data Mapper udostępnia wygodną funkcję czyszczenia obsługiwaną myszą, służącą do stosowania konwersji na danych w kolumnie.

Operacje czyszczenia obejmują następujące kategorie:

  • Przycinanie tekstu
  • Formatowanie tekstu
  • Przekształcenia tekstu
  • Konwersja do wartości NULL i z wartości NULL
  • Formatowanie liczb
  • Analiza dat

Wynik wyborów w czyszczeniu jest przekształcany w jedno zbiorcze wyrażenie, które można zobaczyć w informacjach o wyrażeniu.

Wyrażenia w Data Mapper to jedna z najpotężniejszych i najbardziej elastycznych koncepcji w PlaidCloud. Zapewniają niemal nieograniczoną elastyczność, a jednocześnie działają wyjątkowo wydajnie, nawet na bardzo dużych danych.

Wyrażenia pisze się w składni Python SQLAlchemy wraz z kilkoma dodatkowymi funkcjami pomocniczymi dostępnymi w PlaidCloud. Dzięki temu PlaidCloud udostępnia bezpośrednio pełen zestaw możliwości bazowej hurtowni danych (np. Greenplum, SAP HANA, Redshift itd.). Ponadto publicznie dostępnych jest wiele źródeł z szybkimi ściągawkami dotyczącymi operacji SQLAlchemy. Dzięki standardowej składni SQLAlchemy PlaidCloud unika częstej pułapki tworzenia kolejnej składni specyficznej dla domeny.

Edytor wyrażeń otwiera się po dwukrotnym kliknięciu komórki wyrażenia w kolumnie. Po otwarciu po lewej stronie wyświetlana jest lista kolumn, a po prawej rozbudowana biblioteka funkcji.

Choć wyrażenie można wpisać bezpośrednio w edytorze, zwykle łatwiej zacząć od wyboru funkcji i kolumn myszą. Biblioteka funkcji obejmuje następujące grupy:

  • Warunki
  • Warunki dla określonej kolumny
  • Konwersje
  • Daty
  • Matematyka
  • Tekst
  • Podsumowania
  • Operacje funkcji okna
  • Tablice
  • JSON
  • PostGIS (dane geoprzestrzenne)
  • Trygonometria

Po ukończeniu wyrażenia zapisz je, aby zostało zastosowane do kolumny.

Przykłady i funkcje wyrażeń znajdziesz w obszarze Wyrażenia.

cast(x, Float) zwraca 64-bitową liczbę o podwójnej precyzji w każdej hurtowni danych, więc kwota taka jak 1225541207.71 zachowuje wszystkie cyfry. W StarRocks rzutowanie na Float jest teraz stosowane, choć wcześniej było pomijane, a w Databend jest to podwójna, a nie pojedyncza precyzja. Kolumna Float tworzona przez PlaidCloud z danych zmiennoprzecinkowych również ma podwójną precyzję. Tabela, która ma już kolumnę o pojedynczej precyzji, otrzymuje podwójną precyzję przy następnej przebudowie przez krok z opcją Overwrite.

W StarRocks:

  • Rzutowanie na dużą liczbę całkowitą obsługuje wartości powyżej około 2,1 miliarda.
  • Rzutowanie na Numeric bez podanej precyzji zachowuje miejsca dziesiętne, do 10 miejsc, zamiast zaokrąglać do liczby całkowitej.
  • Rzutowanie na JSON jest stosowane.

W każdej hurtowni danych wartość, której nie można przekonwertować, na przykład tekst nienumeryczny rzutowany na liczbę, staje się wartością pustą (null) zamiast zatrzymywać krok.

Wyrażenie kolumny i filtr kroku muszą zwracać po jednej wartości, tak samo jak każda wartość, z którą porównują kolumnę lub którą przekazują do funkcji. Aby dopasować dowolną z kilku wartości, wypisz je wewnątrz .in_([...]) lub .not_in([...]).

Przecinki i nawiasy kwadratowe tworzą listę wartości, a wyrażenie, które zwraca listę tam, gdzie oczekiwana jest jedna wartość, jest odrzucane. Formularz kroku odrzuca je przy zapisywaniu kroku. Krok zapisany wcześniej z takim wyrażeniem kończy się błędem podczas uruchomienia, a krok Table Extract lub Table Union All kończy się błędem, zanim opróżni swoją tabelę docelową, więc tabela zachowuje dane. Komunikat pokazuje wyrażenie i to, co zmienić.

Najczęstszą przyczyną jest końcowy przecinek:

# Refused — the trailing comma turns the value into a list
table.amount,
# Supported
table.amount

Dotyczy to każdej hurtowni danych. Niektóre hurtownie wykonywały takie wyrażenie, ale nie zawsze tak, jak je zapisano, więc krok, który dotąd działał bez błędów, może się teraz zakończyć błędem z tym komunikatem.

Aby dopasować kolumnę do dowolnej z kilku wartości, użyj .in_([...]) zamiast == oraz .not_in([...]) zamiast !=:

# Refused
table.region == ('EU', 'US')
# Supported
table.region.in_(['EU', 'US'])

Każda wartość przekazana do funkcji jest sprawdzana w ten sam sposób, więc sprawdź nawiasy i przecinki wokół niej:

# Refused — the extra brackets pass coalesce one group of values instead of two values
func.coalesce((table.region, 'Unknown'))
# Supported
func.coalesce(table.region, 'Unknown')

sqlalchemy.literal_column przekazuje fragment SQL do hurtowni danych bez zmian i przyjmuje pojedynczą wartość — kolumnę, obliczenie, CASE, wywołanie funkcji, rzutowanie, funkcję okna. literal_column zawierający podzapytanie ((SELECT ... FROM ...)) jest odrzucany, ponieważ podzapytanie sięga do tabeli, której krok nigdy nie zadeklarował.

Reguły z tej sekcji obowiązują wszędzie tam, gdzie pisane jest wyrażenie — tutaj w maperze, w filtrze kroku, w filtrze Eksploratora tabel oraz w zapytaniu składanym gdzie indziej i wysyłanym do platformy. Są sprawdzane przy zapisywaniu kroku i ponownie, gdy wyrażenie jest zamieniane na SQL.

Zamiast tego zbuduj podzapytanie za pomocą sqlalchemy.select(...) — z .scalar_subquery(), gdy potrzebujesz pojedynczej wartości w kolumnie, lub z .subquery(), gdy z niego wybierasz:

# Refused
sqlalchemy.literal_column('(SELECT rate FROM fx WHERE fx.cc = t.cc)')
# Supported — a single value in a column
sqlalchemy.select(fx.c.rate).where(fx.c.cc == t.c.cc).scalar_subquery()
# Supported — a table to select from
sqlalchemy.select(fx.c.rate).subquery()

literal_column, którego najbardziej zewnętrznym operatorem jest OR, również jest odrzucany. PlaidCloud przekazuje tekst bez zmian, więc warunek dodany po nim byłby powiązany tylko z połową — a OR b, a po nim AND region = 'East', jest odczytywane jako a OR (b AND region = 'East'), i wracają wiersze, które chciano wykluczyć.

Dodaj nawiasy, a będzie działać jak dotychczas:

# Refused
sqlalchemy.literal_column("status = 'open' OR status = 'pending'")
# Supported
sqlalchemy.literal_column("(status = 'open' OR status = 'pending')")

Alternatywa w dowolnym miejscu wewnątrz wyrażenia — w CASE lub już ujęta w nawiasy — nie ma wpływu.

XOR jest odrzucany wszędzie, gdzie występuje, z nawiasami lub bez: hurtownie danych różnią się co do tego, jak silnie wiąże, więc nie istnieje odczyt bezpieczny wszędzie. Zapisz go zamiast tego jawnie, jako (a AND NOT b) OR (NOT a AND b).

literal_column zawierający komentarz jest odrzucany z tego samego powodu: komentarz biegnie do końca instrukcji, więc kasuje wszystko, co PlaidCloud dodaje po Twoim wyrażeniu, a nie tylko to, co napisano.

-- jest odrzucane tam, gdzie obejmowałoby resztę instrukcji. # jest odrzucane w dowolnym miejscu tekstu, bez wyjątków — także wewnątrz ciągu w cudzysłowie oraz w operatorach ścieżki JSON #> i #>> z Postgresa:

# Refused
sqlalchemy.literal_column("attrs #> '{a,b}'")
sqlalchemy.literal_column("code || '#'")

# rozpoczyna komentarz w hurtowniach zgodnych z MySQL, takich jak StarRocks, a PlaidCloud nie wie w chwili pisania wyrażenia, która hurtownia je uruchomi — nie ma więc miejsca w tekście, w którym byłoby to niezawodnie bezpieczne, a #, który jeden silnik uzna za ujęty w cudzysłów, dla innego jest początkiem komentarza. Jeśli potrzebujesz tego znaku jako danych, przekaż go jako wartość:

# Supported
sqlalchemy.func.concat(table.code, sqlalchemy.literal('#'))

Te same dwa zapisy są odrzucane w .op('...').

Wszystko inne, do czego zwykle służy literal_column, pozostaje bez zmian — literal_column('current_date'), literal_column("CASE WHEN amount > 0 THEN 'p' ELSE 'n' END") i func.count() działają jak dotychczas. Nazwy kolumn zawierające spacje, kropki lub cudzysłowy również pozostają bez zmian; hurtownia danych ujmie je w cudzysłowy za Ciebie.

Reguły z tej sekcji obowiązują w filtrze Eksploratora tabel oraz w zapytaniu wysyłanym do platformy. W kroku złączenia lub wyszukiwania Sprawdź klucze stosuje je także do filtru kroku: filtr, który narusza którąś z nich, jest zgłaszany jako błędny, a ta tabela nie jest sprawdzana. Krok Table Extract, który ma Kolumny dynamiczne, stosuje je podczas uruchomienia do filtru kroku oraz do wyrażeń rows kolumn dynamicznych (key, label, where i order): wyrażenie, które narusza którąś z nich, powoduje niepowodzenie kroku.

Wywołanie funkcji, która uruchamia SQL zapisany w ciągu znaków, odczytuje pliki serwera, zmienia sesję lub stan serwera albo każe serwerowi czekać, jest odrzucane niezależnie od tego, czy zapisano je za pomocą sqlalchemy.func, czy wewnątrz literal_column, a komunikat o błędzie podaje nazwę funkcji. Należą do nich query_to_xml i inne funkcje _to_xml, ts_rewrite, dblink, pg_read_file, pg_ls_dir, set_config, nextval i pg_sleep.

# Refused
sqlalchemy.func.query_to_xml('SELECT 1', True, False, '')
sqlalchemy.literal_column("pg_read_file('postgresql.conf')")

.op('...') i .bool_op('...') przyjmują operator i nic więcej: do czterech znaków interpunkcyjnych, takich jak ->>, @> lub -|-, albo jedno z tych słów: LIKE, NOT LIKE, ILIKE, NOT ILIKE, SIMILAR TO, NOT SIMILAR TO, REGEXP, NOT REGEXP, RLIKE, NOT RLIKE, IS, IS NOT, IS DISTINCT FROM, IS NOT DISTINCT FROM, AT TIME ZONE, DIV, MOD, MEMBER OF i SOUNDS LIKE.

literal_column nie może używać cudzysłowów ze znakami ucieczki Unicode, U&'...' ani U&"...", ponieważ nazwa zapisana za pomocą znaków ucieczki może ukryć, którą funkcję wywołuje. Zapisz nazwę lub tekst wprost.