Eksplorator tabel

Eksplorator tabel to zaawansowane i łatwo dostępne narzędzie do eksploracji danych z wbudowanym filtrowaniem, podsumowywaniem i innymi funkcjami, które ułatwiają pracę z dużymi i złożonymi danymi.

Eksplorator tabel obsługuje eksplorację zbiorów danych o dowolnym rozmiarze, więc możesz używać tego samego narzędzia niezależnie od tego, jak bardzo rosną Twoje dane. Zapewnia też filtrowanie typu „wskaż i kliknij” wraz z zaawansowanymi możliwościami filtrowania, które pozwalają dotrzeć do potrzebnych danych. Najlepsze jest to, że w dowolnym miejscu PlaidCloud, gdzie występują tabele lub widoki, możesz kliknąć je, aby zbadać w Eksploratorze tabel. Dzięki pełnej integracji dostęp do danych jest oddalony o jedno kliknięcie.

Widok Grid przedstawia dane w postaci tabelarycznej. Widok Details zawiera podsumowanie każdej kolumny, liczbę unikatowych wartości oraz statystyki profilowania dla każdej kolumny.

Dane można eksportować bezpośrednio z przefiltrowanego zbioru, a także zapisywać filtry i udostępniać je innym. Na koniec filtry i ustawienia kolumn można zapisać bezpośrednio jako krok przepływu pracy Extract.

Widok siatki

Widok siatki przedstawia dane w postaci tabelarycznej.

Ustawianie limitu wierszy

Domyślnie limit wierszy wynosi 5000 wierszy. Można go jednak zmienić lub całkowicie wyłączyć.

Wyświetlane wiersze oraz łączny rozmiar zbioru danych są pokazane u dołu tabeli. Informacje te obejmują trzy kluczowe wartości:

Bieżąca liczba wyświetlanych wierszy na podstawie zastosowanego limitu wierszy
Rozmiar danych globalnych po zastosowaniu filtrów
Rozmiar niefiltrowanych danych globalnych

Wybieranie wierszy Top lub losowych

Obok limitu wierszy znajduje się selektor Top / Losowo, który określa, które wiersze wypełniają siatkę:

Top (domyślnie) zwraca pierwsze wiersze tabeli — to najszybsza opcja i właściwy wybór, gdy chcesz tylko szybko zerknąć na dane.
Losowo zwraca szybką próbkę losową pobraną z całej tabeli, dzięki czemu podgląd odzwierciedla pełny zakres danych, a nie tylko ich początek. Jest to przydatne do wyrywkowej kontroli jakości danych w dużej tabeli, w której pierwsze wiersze nie są reprezentatywne.

Losowanie próbki korzysta z wbudowanego mechanizmu próbkowania silnika magazynowania, więc pozostaje szybkie nawet w bardzo dużych tabelach. Zwraca liczbę wierszy, o którą poprosisz — wylosowanych z całej tabeli lub wszystkie, jeśli tabela zawiera mniej wierszy niż limit — a przy każdym odświeżeniu otrzymujesz inną próbkę. Selektor dotyczy wyłącznie podglądu siatki; nie ma wpływu na zapisane widoki, kroki wyodrębniania, pobrane pliki ani raportowane liczby wierszy. Opcja Losowo wymaga włączonego limitu wierszy.

Sortowanie lokalne i globalne

Widok siatki umożliwia kliknięcie nagłówka kolumny i posortowanie danych według tej kolumny. Ta metoda sortuje jednak tylko zbiór danych, który został już pobrany, a nie pełny zbiór danych. Jeśli pobrane dane obejmują cały zbiór, to rozróżnienie nie ma znaczenia, ale jeśli pełny zbiór danych jest większy niż to, co widać w przeglądarce, wynik sortowania może nie być pożądany.

Jeśli chcesz posortować globalny zbiór danych przed pobraniem ograniczonej liczby danych, które pojawią się w przeglądarce, możesz zastosować sortowanie do kolumn w widoku Details, klikając ikonę Sort u góry każdej kolumny. Dodatkową zaletą sortowania globalnego jest możliwość zastosowania wielu sortowań z różnymi kierunkami.

Szybka lista kolumn

Wszystkie kolumny tabeli lub widoku są domyślnie wyświetlane po lewej stronie okna Eksploratora tabel. Tę listę kolumn można włączać i wyłączać za pomocą przycisku przełączania listy kolumn.

Lista kolumn udostępnia szereg przydatnych funkcji szybkiego dostępu, w tym:

Dwukrotne kliknięcie elementu przechodzi do kolumny w widoku Grid lub Details
Kontrola widoczności kolumny za pomocą pola wyboru widoczności
Użycie zaznaczenia wielokrotnego i kliknięcia prawym przyciskiem, aby uwzględnić lub wykluczyć wiele kolumn naraz
Szybki podgląd typu danych każdej kolumny dzięki ikonom typów danych
Wyświetlanie łącznej liczby kolumn

Ograniczanie dostępu do wierszy

Dla Architekta projektu lub administratora tenanta przycisk Dostęp do wierszy na pasku narzędzi otwiera ekran Dostęp do wierszy dla przeglądanej tabeli — znaczek na przycisku pokazuje, że tabela już ogranicza wiersze. Menu fasetów kolumny zawiera też pozycję Ogranicz wiersze według tej kolumny…, która otwiera ten sam ekran dla danej kolumny; w kolumnie, która już ogranicza wiersze, brzmi ona Wiersze ograniczone tą kolumną — edytuj….

Gdy Twoje własne uprawnienia filtrują to, co załadowała siatka, pasek narzędzi pokazuje Wiersze ograniczone Twoim dostępem, a rozpoczęcie pobierania, które zostanie przefiltrowane, również o tym informuje. Siatka, jej fasety kolumn i pobieranie zawierają wyłącznie wiersze, które możesz zobaczyć. Zobacz Co widzi członek z ograniczeniami.

Widok szczegółów

Widok Details to efektywny sposób oglądania danych na wysokim poziomie, który udostępnia narzędzia do szybkiego zawężania informacji za pomocą operacji „wskaż i kliknij”.

Dane kolumny i liczba unikatowych wartości

Wyświetlana jest każda kolumna, o ile jest aktualnie oznaczona jako widoczna. Podsumowanie kolumny pokazuje 1000 najczęstszych unikatowych wartości według liczności. Liczbę wyświetlanych unikatowych wartości można zmienić, wybierając inną wartość w opcji Detailed Rows Displayed.

Kolumna numeryczna zamiast listy wartości pokazuje swoje statystyki: minimum, maksimum, średnią, sumę, odchylenie standardowe i wariancję. Wartości null są pomijane w tych statystykach, a kolumna zawierająca wyłącznie wartości null pokazuje zamiast tego liczności wartości. Dotyczy to każdego silnika lakehouse, w tym StarRocks.

Kolumna, której podsumowanie jest obliczane zbyt długo, pokazuje Przekroczono limit czasu profilu, a kolumna, której podsumowania nie można załadować, pokazuje Profil nie powiódł się. Najedź kursorem na znaczek, aby zobaczyć przyczynę: problem z filtrem jest tam nazwany, a awaria po stronie PlaidCloud zawiera identyfikator, którego zespół PlaidCloud może użyć do jej prześledzenia. Aby spróbować ponownie, użyj przycisku odświeżania kolumny.

Zarządzanie filtrami typu „wskaż i kliknij”

Każda kolumna umożliwia filtrowanie typu „wskaż i kliknij” po włączeniu przełącznika filtra u góry kolumny. Zaznacz elementy w kolumnie, które chcesz uwzględnić w wynikowych danych. Obsługiwane jest zaznaczanie wielokrotne.

Po zastosowaniu filtra mogą pojawić się elementy, które chcesz usunąć, albo możesz chcieć wyczyścić filtr całej kolumny bez czyszczenia wszystkich filtrów. Robi się to przez wybranie listy rozwijanej na przycisku filtra kolumny i odznaczenie elementów lub wybranie opcji wyczyszczenia wszystkiego u góry.

Zarządzanie podsumowywaniem

Podsumowywanie danych można zastosować, przełączając przycisk Summarize na On. Po aktywowaniu przycisku Summarize każda kolumna wyświetla typ podsumowania do zastosowania. Dostosuj żądany typ podsumowania dla każdej kolumny.

Gdy wybierzesz wszystkie potrzebne podsumowania, odśwież dane, a podsumowania zostaną zastosowane.

Przykłady typów podsumowań to Min, Max, Sum, Count i Count Distinct.

Wyszukiwanie wartości unikatowych

Aktywowanie przycisku Distinct pomaga ograniczyć dane do zestawu unikatowych rekordów. Gdy przycisk Distinct jest aktywny, w każdej kolumnie pojawia się pole wyboru Distinct. Odznacz kolumny, które NIE definiują unikatowości w zbiorze danych. Na przykład jeśli chcesz znaleźć unikatowy zestaw klientów w tabeli zamówień klientów, powinieneś zaznaczyć tylko kolumnę klienta, a nie uwzględniać także numeru zamówienia klienta.

Statystyki profilowania kolumn

Każda kolumna wyświetla statystyki profilowania u dołu informacji o kolumnie, niezależnie od typu danych.

Kolumny Vector są jedynym wyjątkiem: są pomijane w profilowaniu i nie buduje się dla nich listy wartości. Minimum, średnia ani lista najczęstszych wartości nie mówią nic o osadzeniu, a lista wartości składałaby się z surowych tablic liczących setki liczb każda.

Kolumny całkowite i numeryczne wyświetlają te statystyki, obliczane na pełnym przefiltrowanym zbiorze danych:

Minimum
Maksimum
Średnia
Odchylenie standardowe
Suma

Każda kolumna — numeryczna, tekstowa, daty lub inna — wyświetla także te statystyki, obliczane na pełnej niefiltrowanej tabeli:

Null Count (All Rows) — liczba wartości null w całej tabeli
Null % (All Rows) — wartości null jako odsetek całej tabeli
Blank Count (All Rows) — tylko kolumny tekstowe. Wartość pusta to wartość, która po przycięciu jest pusta lub składa się wyłącznie ze spacji, w odróżnieniu od wartości null.
Blank % (All Rows) — wartości puste jako odsetek całej tabeli
Distinct % of Non-Null (All Rows) — wartości odrębne jako odsetek wierszy, które faktycznie mają wartość. Wartości null są wyłączone zarówno z liczby wartości odrębnych, jak i z sumy, więc kolumna, która w 90% jest pusta (null), ale której wypełnione wartości są wszystkie unikatowe, pokazuje 100%, a nie 10%.

Te statystyki (All Rows) są obliczane po stronie serwera i deterministycznie, bez udziału AI ani próbkowania — ta sama kolumna za każdym razem zwraca te same liczby. Uwzględniają zabezpieczenia na poziomie wierszy, więc zawsze widzisz statystyki obliczone tylko dla wierszy, które możesz oglądać. Ich obliczenie kosztuje jedno dodatkowe zapytanie do całej tabeli, podlegające temu samemu 60-sekundowemu budżetowi co inne fasety kolumn; jeśli to zapytanie przekroczy limit czasu, reszta siatki pozostaje nienaruszona.

Kształt rozkładu

Dla kolumn numerycznych Eksplorator tabel raportuje także, jak rozłożone są wartości, a nie tylko, gdzie się skupiają.

Skewness (All Rows) — mierzy, czy wartości kolumny przechylają się na jedną stronę średniej, czy są wokół niej równomiernie zrównoważone. Wartość bliska zeru oznacza, że wartości są w przybliżeniu symetryczne; silnie dodatnia lub ujemna wartość oznacza, że kolumna ma długi ogon rozciągający się ku jednemu końcowi. Może to ujawnić kształt, który ukryłyby sama Średnia i Odchylenie standardowe — na przykład garść bardzo dużych wartości podnoszących średnią, podczas gdy większość kolumny leży znacznie niżej.
Histogram pod statystykami każdej kolumny numerycznej grupuje jej wartości w 10 przedziałów o równej szerokości, obejmujących pełny zakres kolumny, dzięki czemu od razu widać kształt rozkładu. Najedź kursorem na słupek, aby zobaczyć dokładny zakres wartości, który obejmuje, i liczbę wierszy w nim.

Podobnie jak inne statystyki (All Rows), Skewness i histogram zawsze obejmują całą tabelę, niezależnie od bieżącego filtra. Skewness jest pomijana — nigdy nie jest pokazywana jako zero ani błąd — dla kolumny z mniej niż dwiema wartościami lub bez żadnej zmienności, ponieważ w takim przypadku nie da się jej sensownie obliczyć. Histogram jest pomijany w ten sam sposób dla kolumny bez możliwego do obliczenia zakresu, na przykład takiej, która jest w całości null.

Radar jakości danych

Eksplorator tabel uruchamia pięć automatycznych sprawdzeń dla każdej kolumny, aby oznaczyć dane warte dokładniejszego przyjrzenia się:

Outliers — wartości numeryczne statystycznie odległe od reszty kolumny (więcej niż trzy odchylenia standardowe od średniej).
Format — wartości tekstowe, które nie pasują do dominującego wzorca występującego w reszcie kolumny, na przykład kolumna, która prawie w całości zawiera daty z kilkoma wartościami w dowolnym tekście. To sprawdzenie jest uruchamiane tylko dla kolumn z co najmniej 100 niepustymi wartościami i oznacza niezgodność dopiero wtedy, gdy jeden wzorzec wyraźnie dominuje — pasuje do niego ponad 95% wartości kolumny.
Duplicates — powtarzające się wartości w kolumnie, która jest częścią zadeklarowanego klucza wiersza tabeli, gdzie każda wartość powinna być unikatowa. To sprawdzenie jest uruchamiane tylko dla tabel z zadeklarowanym kluczem wiersza — jako klucza wiersza używa się kluczy aktualizacji tabeli.
Orphans — wartości w kolumnie powiązanej z wymiarem, które nie pasują do żadnego członka tego wymiaru.
Constant — każda wartość inna niż null w kolumnie jest taka sama, co zwykle oznacza, że kolumna nie niesie żadnych użytecznych informacji.

Te sprawdzenia obejmują całą tabelę, tak jak statystyki (All Rows) powyżej — Twój bieżący filtr nie ma na nie wpływu.

Znaczek pojawia się bezpośrednio na kolumnie w widoku Details dla każdego sprawdzenia, które coś wykryło, a przygaszony znaczek pojawia się dla sprawdzenia, którego nie udało się ukończyć. Otwórz Data Quality Radar z menu Actions, aby zobaczyć uszeregowane podsumowanie każdej kolumny względem wszystkich pięciu sprawdzeń — w tym sprawdzeń, które wypadły bez zastrzeżeń lub nie mają zastosowania, a nie tylko tych, które oznaczono.

Każde sprawdzenie niezależnie raportuje jeden z pięciu wyników: oznaczone, bez zastrzeżeń, nie dotyczy, przekroczono limit czasu lub niedostępne. Żadne sprawdzenie nie jest po cichu pomijane — zawsze możesz zobaczyć, dlaczego kolumna nie ma werdyktu dla danego sprawdzenia.

Korelacje

Dla kolumn numerycznych Eksplorator tabel raportuje także, jak silnie wartości kolumny zmieniają się razem z pozostałymi kolumnami numerycznymi tabeli.

Pearson r vs <column> (Complete Cases) — jak silnie dwie kolumny zmieniają się razem w zależności liniowej, od -1 (dokładnie przeciwnie) przez 0 (brak zależności liniowej) do +1 (dokładnie zgodnie).
Spearman ρ vs <column> (Complete Cases) — jak silnie dwie kolumny zmieniają się razem pod względem kolejności rang, niezależnie od tego, czy zależność jest liniowa. Para, która konsekwentnie rośnie razem, ale układa się w krzywą zamiast w linię prostą, może uzyskać wyższy wynik według Spearmana niż według Pearsona.
Complete Cases (All Rows) — z ilu wierszy faktycznie obliczono powyższe współczynniki.

Korelacje są obliczane względem maksymalnie 10 innych kolumn numerycznych aktualnie widocznych w widoku Details i tylko na podstawie wierszy, które mają wartość w każdej z tych kolumn numerycznych — a nie tylko w porównywanej parze. Dlatego zakres jest oznaczony (Complete Cases), a nie (All Rows): jest to węższy, listwise podzbiór tabeli, a nazwanie go (All Rows) przesadzałoby w opisie tego, co opisują współczynniki. Sama liczba Complete Cases (All Rows) jest mierzona względem całej tabeli, tak samo jak pozostałe statystyki (All Rows) — nie wpływa na nią bieżący filtr, choć zmienia się, jeśli zmienisz widoczne kolumny numeryczne.

Korelacje są w ogóle pomijane, zamiast pokazywać je na zbyt małej ilości dowodów, chyba że istnieje co najmniej 10 wierszy kompletnych przypadków i stanowią one co najmniej 10% tabeli. Pojedyncza kolumna partnerska, której własnego współczynnika nie da się obliczyć — na przykład z powodu braku zmienności w tej kolumnie — powoduje pominięcie tylko tego jednego wiersza, a nie całego zestawu.

Kopiowanie danych

Czasem przydaje się możliwość skopiowania wybranych danych z PlaidCloud, aby wkleić je do innych aplikacji, takich jak arkusz kalkulacyjny.

Przycisk Kopiuj w prawym górnym rogu udostępnia kilka opcji kopiowania danych:

Kopiuj wszystko — kopiuje wszystkie dane do schowka
Kopiuj zaznaczenie — kopiuje zaznaczone dane do schowka
Kopiuj komórkę — kopiuje do schowka zawartość tylko jednej komórki
Kopiuj kolumnę — kopiuje do schowka pełną zawartość kolumny

Eksportowanie danych

Eksport danych z interfejsu Eksploratora tabel umożliwia wyeksportowanie przefiltrowanych danych tylko z widocznymi kolumnami. Możesz eksportować w następujących formatach:

Microsoft Excel (xlsx)
CSV (przecinek)
TSV (tabulator)
PSV (potok)

Menu pobierania umożliwia również pobranie tylko wierszy widocznych w przeglądarce. Opiera się to na określonym limicie wierszy.

Dodatkowe akcje

Dodatkowe przydatne akcje są dostępne w menu Actions.

Zapisz jako krok wyodrębniania

Eksplorowanie danych odbywa się często w kontekście ustalania, jak je filtrować na potrzeby procesu potoku danych. Często polega to na zastosowaniu wielu filtrów, w tym filtrów zaawansowanych, aby dotrzeć do pożądanego wyniku.

Zamiast próbować odtworzyć wszystkie filtry, kolumny, podsumowania i sortowania w kroku Extract, możesz po prostu zapisać bieżące ustawienia Eksploratora tabel jako nowy krok Extract.

Zapisz jako widok

Podobnie jak w przypadku zapisywania bieżących ustawień Eksploratora tabel jako kroku Extract powyżej, możesz też zapisać ustawienia bezpośrednio jako widok.

Może to być szczególnie przydatne przy tworzeniu wycinków danych na potrzeby raportowania lub innych procesów podrzędnych, które nie wymagają potoku danych.

Zarządzanie zapisanymi filtrami

Nigdy nie musisz tracić pracy nad filtrami. Ustawienia Eksploratora tabel możesz zapisać jako zapisany filtr. Zapisane filtry obejmują również widoczność kolumn, podsumowania, filtry kolumn, filtry zaawansowane i sortowania.

Możesz też udostępnić zapisany filtr innym, zaznaczając pole wyboru Public podczas zapisywania filtra.

W menu Actions możesz również usuwać i zmieniać nazwy zapisanych filtrów.

Filtry zaawansowane

Filtry kolumn typu „wskaż i kliknij” umożliwiają szybkie zastosowanie filtrów w celu dotarcia do pożądanych wyników, ale czasami warunki filtrowania są złożone i wymagają bardziej zaawansowanych specyfikacji.

Obszar filtra zaawansowanego udostępnia zarówno filtr przed agregacją, jak i filtr po agregacji, jeśli włączono Summarize.

Do wybrania podzbioru danych można użyć dowolnego prawidłowego wyrażenia Python. Więcej szczegółów i przykładów znajdziesz w sekcji Wyrażenia.