Explorador de tabelas

O Explorador de tabelas é uma ferramenta de exploração de dados poderosa e de fácil acesso, com filtragem integrada, sumarização e outras funcionalidades que facilitam a vida a quem trabalha com dados grandes e complexos.

O Explorador de tabelas permite explorar conjuntos de dados de qualquer dimensão, pelo que pode usar a mesma ferramenta independentemente do crescimento dos seus dados. Oferece também filtragem com um clique, juntamente com capacidades avançadas de filtragem para chegar exatamente aos dados de que precisa. O melhor é que, em qualquer ponto do PlaidCloud com tabelas ou vistas, pode clicar nessas tabelas e vistas para as explorar com o Explorador de tabelas. Por estar totalmente integrado, o acesso aos dados está à distância de um clique.

A vista Grid apresenta os dados em formato tabular. A vista Details apresenta um resumo de cada coluna, uma contagem de valores únicos e estatísticas de criação de perfil para todas as colunas.

Os dados podem ser exportados diretamente a partir de um conjunto filtrado, e também é possível guardar e partilhar filtros com outras pessoas. Por fim, os filtros e as definições das colunas podem ser guardados diretamente como um passo Extract de um fluxo de trabalho.

A vista Grid

A vista Grid apresenta os dados em formato tabular.

Definir o limite de linhas

Por predefinição, o limite de linhas é de 5000 linhas. No entanto, pode ser ajustado ou desativado por completo.

As linhas apresentadas e a dimensão total do conjunto de dados são mostradas na parte inferior da tabela. Esta informação fornece três dados essenciais:

A contagem de linhas atualmente apresentada, com base no limite de linhas aplicado
A dimensão dos dados globais depois de aplicados os filtros
A dimensão dos dados globais sem filtros

Escolher as linhas superiores ou aleatórias

Junto ao limite de linhas existe um seletor Superiores / Aleatório que controla quais as linhas que preenchem a grelha:

Superiores (a predefinição) devolve as primeiras linhas da tabela — a opção mais rápida e a indicada quando só pretende uma vista rápida.
Aleatório devolve uma amostra aleatória rápida recolhida em toda a tabela, de modo que a pré-visualização reflete toda a gama dos seus dados e não apenas o início. É útil para verificar pontualmente a qualidade dos dados numa tabela grande em que as primeiras linhas não são representativas.

A amostragem aleatória utiliza a amostragem incorporada do seu motor de armazenamento, pelo que continua rápida mesmo em tabelas muito grandes. Devolve o número de linhas pedido — recolhidas aleatoriamente em toda a tabela, ou todas, se a tabela tiver menos linhas do que o seu limite — e obtém uma amostra diferente de cada vez que atualiza. O seletor aplica-se apenas à pré-visualização da grelha; não tem qualquer efeito em vistas guardadas, extrações, transferências nem nas contagens de linhas apresentadas. A opção Aleatório requer que o limite de linhas esteja ativado.

Ordenar localmente versus globalmente

A vista Grid permite clicar no cabeçalho de uma coluna e ordenar os dados com base nessa coluna. No entanto, este método ordena apenas o conjunto de dados que já foi obtido, e não com base no conjunto de dados completo. Se os dados obtidos contiverem o conjunto de dados completo, esta distinção é irrelevante; porém, se o conjunto de dados completo for maior do que o que aparece no navegador, este pode não ser o resultado de ordenação pretendido.

Se pretender ordenar o conjunto de dados global antes de obter os dados limitados que aparecerão no navegador, essas ordenações podem ser aplicadas às colunas na vista Details, clicando no ícone Sort no topo de cada coluna. Uma vantagem adicional da abordagem de ordenação global é poder aplicar várias ordenações, com uma combinação de sentidos de ordenação.

Lista de colunas de consulta rápida

Por predefinição, todas as colunas da tabela ou vista são apresentadas à esquerda da janela do Explorador de tabelas. Esta lista de colunas pode ser mostrada ou ocultada com o botão de alternância da lista de colunas.

A lista de colunas oferece várias funcionalidades úteis de acesso rápido, incluindo:

Fazer duplo clique num item salta para a coluna na vista Grid ou Details
Controlar a visibilidade da coluna através da caixa de seleção de visibilidade
Utilizar a seleção múltipla e o botão direito do rato para incluir ou excluir muitas colunas de uma só vez
Ver rapidamente o tipo de dados de cada coluna através dos ícones de tipo de dados
Ver o número total de colunas

Restringir o acesso a linhas

Para um Arquiteto do projeto ou um administrador do inquilino, o botão Acesso a linhas da barra de ferramentas abre Acesso a linhas para a tabela que está a explorar — um emblema no botão indica quando a tabela já restringe linhas. O menu de facetas de uma coluna tem também Restringir linhas por esta coluna…, que abre o mesmo ecrã para essa coluna; numa coluna que já restringe linhas, o texto é Linhas restringidas por esta coluna — editar….

Quando as suas próprias concessões filtram o que a grelha carregou, a barra de ferramentas mostra Linhas limitadas pelo seu acesso, e iniciar uma transferência que será filtrada também o indica. A grelha, as respetivas facetas de coluna e a transferência contêm apenas as linhas que lhe é permitido ver. Consulte O que vê um membro com restrições.

A vista Details

A vista Details é uma forma eficiente de ver os dados a um nível geral e disponibiliza ferramentas para filtrar rapidamente a informação com operações de apontar e clicar.

Dados da coluna e contagens de valores únicos

É apresentada cada coluna, desde que esteja atualmente marcada como visível. O resumo da coluna apresenta os 1000 valores únicos principais por contagem. O número de valores únicos apresentados pode ser ajustado selecionando outro valor em Detailed Rows Displayed.

Uma coluna numérica mostra as suas estatísticas em vez de uma lista de valores: mínimo, máximo, média, soma, desvio-padrão e variância. Os nulos são excluídos destas estatísticas, e uma coluna que contenha apenas nulos mostra, em vez disso, as contagens de valores. Isto aplica-se a todos os motores lakehouse, incluindo o StarRocks.

Uma coluna cujo resumo demora demasiado tempo a calcular mostra O perfil excedeu o tempo limite, e uma coluna cujo resumo não pode ser carregado mostra O perfil falhou. Passe o rato sobre o emblema para ver o motivo: um problema com um filtro é aí indicado e uma falha do lado do PlaidCloud inclui um ID que a equipa do PlaidCloud pode utilizar para a rastrear. Para tentar novamente, utilize o botão de atualização da coluna.

Gerir filtros de apontar e clicar

Cada coluna permite filtrar com um clique, ativando o botão de alternância de filtro no topo da coluna. Selecione os itens da coluna que pretende incluir nos dados resultantes. A seleção múltipla é suportada.

Depois de aplicar um filtro, pode haver itens que pretenda remover ou pode querer limpar o filtro de toda a coluna sem limpar todos os filtros. Isto faz-se selecionando a lista pendente no botão de filtro da coluna e desmarcando colunas ou selecionando a opção de limpar tudo no topo.

Gerir a sumarização

A sumarização dos dados pode ser aplicada alternando o botão Summarize para On. Quando o botão Summarize está ativado, cada coluna apresenta um tipo de sumarização a aplicar. Ajuste o tipo de sumarização pretendido para cada coluna.

Quando as sumarizações pretendidas estiverem concluídas, atualize os dados e as sumarizações serão aplicadas.

Exemplos de tipos de sumarização são Min, Max, Sum, Count e Count Distinct.

Encontrar valores distintos

Ativar o botão Distinct ajuda a reduzir os dados a um conjunto de registos únicos. Quando o botão Distinct está ativo, aparece uma caixa de seleção Distinct em cada coluna. Desmarque as colunas que NÃO definem a unicidade da coluna no conjunto de dados. Por exemplo, se pretender encontrar o conjunto único de clientes numa tabela de encomendas de clientes, só deverá selecionar a coluna do cliente e não incluir também o número da encomenda.

Estatísticas de criação de perfil de colunas

Todas as colunas apresentam estatísticas de criação de perfil na parte inferior da respetiva informação, independentemente do tipo de dados.

As colunas Vector são a única exceção: ficam de fora da criação de perfil e não é construída nenhuma lista de valores para elas. Um mínimo, uma média ou uma lista dos valores principais não diz nada sobre um embedding, e a lista de valores seria composta por arrays em bruto com centenas de números cada.

As colunas de números inteiros e numéricas apresentam estas estatísticas, calculadas sobre todo o conjunto de dados filtrado:

Mínimo
Máximo
Média
Desvio-padrão
Soma

Todas as colunas — numéricas, de texto, de data ou outras — apresentam também estas estatísticas, calculadas sobre toda a tabela sem filtros:

Null Count (All Rows) — o número de valores nulos em toda a tabela
Null % (All Rows) — valores nulos como percentagem de toda a tabela
Blank Count (All Rows) — apenas colunas de texto. Um valor em branco é um valor vazio ou composto apenas por espaços depois de removidos os espaços, o que é diferente de um nulo.
Blank % (All Rows) — valores em branco como percentagem de toda a tabela
Distinct % of Non-Null (All Rows) — valores distintos como percentagem das linhas que realmente têm um valor. Os nulos são excluídos tanto da contagem de distintos como do total, pelo que uma coluna com 90% de nulos mas cujos valores preenchidos são todos únicos apresenta 100%, e não 10%.

Estas estatísticas (All Rows) são calculadas no servidor e de forma determinista, sem recurso a IA nem a amostragem — a mesma coluna devolve os mesmos números todas as vezes. Respeitam a segurança ao nível da linha, pelo que só vê estatísticas calculadas sobre as linhas que tem permissão para ver. O seu cálculo custa uma consulta adicional a toda a tabela, sujeita ao mesmo orçamento de 60 segundos das outras facetas de coluna; se essa consulta exceder o tempo limite, o resto da grelha não é afetado.

Forma da distribuição

Para colunas numéricas, o Explorador de tabelas indica também como os valores estão distribuídos, e não apenas onde se concentram.

Skewness (All Rows) — mede se os valores da coluna tendem para um dos lados da média ou se estão equilibrados em torno dela. Um valor próximo de zero significa que os valores são aproximadamente simétricos; um valor fortemente positivo ou negativo significa que a coluna tem uma cauda longa que se estende para uma das extremidades. Isto pode revelar uma forma que a Média e o Desvio-padrão, por si só, esconderiam — por exemplo, alguns valores muito grandes a puxar a média para cima enquanto a maior parte da coluna se situa muito mais abaixo.
Um histograma por baixo das estatísticas de cada coluna numérica agrupa os respetivos valores em 10 intervalos de igual largura que abrangem toda a gama da coluna, para que possa ver a forma da distribuição num relance. Passe o rato sobre uma barra para ver o intervalo exato de valores que abrange e quantas linhas nele se incluem.

Tal como as outras estatísticas (All Rows), a Assimetria e o histograma abrangem sempre toda a tabela, independentemente do filtro atual. A Assimetria é omitida — nunca apresentada como zero nem como erro — para uma coluna com menos de dois valores ou sem qualquer variação, uma vez que, nesse caso, não pode ser calculada de forma significativa. O histograma é omitido da mesma forma para uma coluna sem intervalo calculável, como uma que seja inteiramente nula.

Data Quality Radar

O Explorador de tabelas executa cinco verificações automáticas em cada coluna para assinalar dados que merecem uma análise mais atenta:

Outliers — valores numéricos estatisticamente afastados do resto da coluna (a mais de três desvios-padrão da média).
Format — valores de texto que não correspondem ao padrão dominante encontrado no resto da coluna, como uma coluna composta quase só por datas com alguns valores de texto livre misturados. Esta verificação só é executada em colunas com pelo menos 100 valores não vazios e só assinala uma discrepância quando um padrão claramente domina — mais de 95% dos valores da coluna correspondem a ele.
Duplicates — valores repetidos numa coluna que faz parte da chave de linha declarada da tabela, em que todos os valores deveriam ser únicos. Esta verificação só é executada em tabelas com uma chave de linha declarada — as chaves de atualização da tabela são utilizadas como chave de linha.
Orphans — valores numa coluna associada a uma dimensão que não correspondem a nenhum membro dessa dimensão.
Constant — todos os valores não nulos da coluna são iguais, o que normalmente significa que a coluna não contém informação útil.

Estas verificações são executadas sobre toda a tabela, tal como as estatísticas (All Rows) acima — o filtro atual não tem qualquer efeito sobre elas.

Aparece um emblema diretamente numa coluna da vista Details por cada verificação que encontrou algo, e um emblema atenuado por cada verificação que não pôde ser concluída. Abra Data Quality Radar no menu Actions para ver um resumo ordenado de todas as colunas em relação às cinco verificações — incluindo as verificações que deram resultado limpo ou que não se aplicam, e não apenas as que foram assinaladas.

Cada verificação indica de forma independente um de cinco resultados: assinalada, limpa, não aplicável, tempo limite excedido ou indisponível. Uma verificação nunca é ignorada silenciosamente — pode sempre ver por que motivo uma coluna não tem veredicto para uma determinada verificação.

Correlações

Para colunas numéricas, o Explorador de tabelas indica também com que intensidade os valores de uma coluna variam em conjunto com as restantes colunas numéricas da tabela.

Pearson r vs <column> (Complete Cases) — com que intensidade duas colunas variam em conjunto numa relação em linha reta, de -1 (perfeitamente opostas) a 0 (sem relação linear) e a +1 (perfeitamente em conjunto).
Spearman ρ vs <column> (Complete Cases) — com que intensidade duas colunas variam em conjunto em ordem de classificação, quer essa relação seja ou não uma linha reta. Um par que sobe de forma consistente em conjunto, mas descreve uma curva em vez de uma linha reta, pode obter uma pontuação mais alta em Spearman do que em Pearson.
Complete Cases (All Rows) — o número de linhas a partir das quais os coeficientes acima são efetivamente calculados.

As correlações são calculadas em relação a um máximo de 10 outras colunas numéricas atualmente visíveis na vista Details, e apenas com as linhas que têm um valor em todas essas colunas numéricas — e não apenas no par comparado. É por isso que o âmbito tem a etiqueta (Complete Cases) em vez de (All Rows): trata-se de um subconjunto mais restrito da tabela, por eliminação de pares incompletos, e chamar-lhe (All Rows) exageraria o que os coeficientes descrevem. A própria contagem Complete Cases (All Rows) é medida em relação a toda a tabela, tal como as outras estatísticas (All Rows) — não é afetada pelo filtro atual, embora mude se alterar as colunas numéricas visíveis.

As correlações são totalmente omitidas, em vez de apresentadas com provas insuficientes, a menos que existam pelo menos 10 linhas de casos completos e que estas representem pelo menos 10% da tabela. Uma única coluna parceira cujo próprio coeficiente não possa ser calculado — por exemplo, por não haver variação nessa coluna — elimina apenas essa linha e não o conjunto todo.

Copiar dados

Por vezes, é útil permitir a cópia de dados selecionados do PlaidCloud para que possam ser colados noutras aplicações, como uma folha de cálculo.

No botão Copiar, no canto superior direito, estão disponíveis várias opções de cópia dos dados:

Copiar tudo - Copia todos os dados para a área de transferência
Copiar seleção - Copia os dados selecionados para a área de transferência
Copiar célula - Copia apenas o conteúdo de uma única célula para a área de transferência
Copiar coluna - Copia o conteúdo completo da coluna para a área de transferência

Exportar dados

A exportação de dados a partir da interface do Explorador de tabelas permite exportar os dados filtrados apenas com as colunas visíveis. Pode exportar nos seguintes formatos:

Microsoft Excel (xlsx)
CSV (vírgula)
TSV (tabulação)
PSV (barra vertical)

O menu Transferir também oferece a possibilidade de transferir apenas as linhas visíveis no navegador. Isto baseia-se no limite de linhas especificado.

Ações adicionais

Estão disponíveis ações adicionais úteis no menu Actions.

Guardar como passo de extração

Ao explorar dados, é frequente fazê-lo para determinar como os filtrar num processo de pipeline de dados. Isto implica muitas vezes aplicar vários filtros, incluindo filtros avançados, para chegar ao resultado pretendido.

Em vez de tentar replicar todos os filtros, colunas, sumarizações e ordenações num passo Extract, pode simplesmente guardar as definições existentes do Explorador de tabelas como um novo passo Extract.

Guardar como vista

Tal como guardar as definições atuais do Explorador de tabelas como um passo Extract, descrito acima, pode também guardar as definições diretamente como uma vista.

Isto pode ser particularmente útil ao construir fatias de dados para relatórios ou outros processos a jusante que não requerem um pipeline de dados.

Gerir filtros guardados

Nunca tem de perder o trabalho que fez nos filtros. Pode guardar as definições do Explorador de tabelas como um filtro guardado. Os filtros guardados incluem também a visibilidade das colunas, as sumarizações, os filtros de colunas, os filtros avançados e as ordenações.

Também pode permitir que outras pessoas utilizem um filtro guardado marcando a caixa de seleção Public ao guardar o filtro.

No menu Actions pode ainda optar por eliminar e mudar o nome de filtros guardados.

Filtros avançados

Embora os filtros de coluna de apontar e clicar permitam uma aplicação rápida de filtros para chegar aos resultados pretendidos, por vezes as condições de filtragem são complexas e requerem especificações mais avançadas.

A área de filtros avançados oferece um filtro de pré-agregação e um filtro de pós-agregação, se Summarize estiver ativado.

Qualquer expressão Python válida é aceitável para criar um subconjunto dos dados. Consulte Expressões para mais detalhes e exemplos.