Explorador de tabelas

O Explorador de tabelas é uma ferramenta de exploração de dados poderosa e de fácil acesso, com filtragem, sumarização e outros recursos integrados para facilitar a vida de quem trabalha com dados grandes e complexos.

O Explorador de tabelas permite explorar conjuntos de dados de qualquer tamanho, de modo que você pode usar a mesma ferramenta não importa o quanto seus dados cresçam. Ele também oferece filtragem de apontar e clicar junto com recursos avançados de filtro para chegar exatamente aos dados de que você precisa. O melhor é que, em qualquer lugar do PlaidCloud com tabelas ou visões, você pode clicar nessas tabelas e visões para explorá-las com o Explorador de tabelas. Por ser totalmente integrado, o acesso aos dados está a apenas um clique.

A visão Grid oferece uma exibição tabular dos dados. A visão Details oferece um resumo de cada coluna, uma contagem de valores exclusivos e estatísticas de perfil para todas as colunas.

Os dados podem ser exportados diretamente de um conjunto filtrado, e também é possível salvar filtros e compartilhá-los com outras pessoas. Por fim, os filtros e as configurações de colunas podem ser salvos diretamente como uma etapa Extract de fluxo de trabalho.

A visão Grid

A visão Grid oferece uma exibição tabular dos dados.

Definindo o limite de linhas

Por padrão, o limite de linhas é de 5.000 linhas. No entanto, ele pode ser ajustado ou desativado por completo.

As linhas exibidas, junto com o tamanho total do conjunto de dados, aparecem na parte inferior da tabela. Essas informações fornecem três dados importantes:

A contagem de linhas atual exibida, com base no limite de linhas aplicado
O tamanho dos dados globais após a aplicação dos filtros
O tamanho dos dados globais sem filtro

Escolhendo as linhas do início ou aleatórias

Ao lado do limite de linhas há um seletor Início / Aleatório que controla quais linhas preenchem a grade:

Início (o padrão) retorna as primeiras linhas da tabela — a opção mais rápida e a certa quando você só quer dar uma olhada rápida.
Aleatório retorna uma amostra aleatória rápida extraída de toda a tabela, de modo que a visualização reflete toda a variedade dos seus dados, e não apenas o começo. Isso é útil para verificar pontualmente a qualidade dos dados em uma tabela grande em que as primeiras linhas não são representativas.

A amostragem aleatória usa a amostragem integrada do seu mecanismo de armazenamento, de modo que continua rápida mesmo em tabelas muito grandes. Ela retorna o número de linhas que você pediu — extraídas aleatoriamente de toda a tabela, ou todas elas, se a tabela tiver menos linhas do que o seu limite — e você obtém uma amostra diferente a cada atualização. O seletor se aplica apenas à visualização da grade; não tem efeito sobre visões salvas, extrações, downloads nem sobre as contagens de linhas informadas. O modo Aleatório exige que o limite de linhas esteja ativado.

Ordenação local versus global

A visão Grid permite clicar no cabeçalho de uma coluna e ordenar os dados com base nessa coluna. No entanto, esse método ordena apenas o conjunto de dados que já foi recuperado, e não o conjunto de dados completo. Se os dados recuperados contêm o conjunto de dados inteiro, essa distinção é irrelevante; porém, se o conjunto de dados completo for maior do que o que aparece no navegador, esse pode não ser o resultado de ordenação desejado.

Se você quiser ordenar o conjunto de dados global antes de recuperar os dados limitados que aparecerão no navegador, essas ordenações podem ser aplicadas às colunas na visão Details clicando no ícone Sort na parte superior de cada coluna. Um benefício adicional da ordenação global é que você pode aplicar várias ordenações, com uma mistura de direções.

Lista de referência rápida de colunas

Todas as colunas da tabela ou da visão são exibidas, por padrão, à esquerda da janela do Explorador de tabelas. Essa lista de colunas pode ser exibida ou ocultada usando o botão de alternância da lista de colunas.

A lista de colunas oferece vários recursos úteis e de acesso rápido, incluindo:

Clicar duas vezes em um item leva à coluna na visão Grid ou Details
Controlar a visibilidade da coluna pela caixa de seleção de visibilidade
Usar a seleção múltipla e o clique com o botão direito para incluir ou excluir várias colunas de uma só vez
Ver rapidamente o tipo de dados de cada coluna pelos ícones de tipo de dados
Ver a contagem total de colunas

Restringindo o acesso a linhas

Para um Arquiteto de projeto ou administrador do tenant, o botão Acesso a linhas da barra de ferramentas abre Acesso a linhas para a tabela que você está explorando — um selo no botão indica quando a tabela já restringe linhas. O menu de facetas de uma coluna também tem Restringir linhas por esta coluna…, que abre a mesma tela para essa coluna; em uma coluna que já restringe linhas, o texto é Linhas restringidas por esta coluna — editar….

Quando as suas próprias concessões filtram o que a grade carregou, a barra de ferramentas mostra Linhas limitadas pelo seu acesso, e iniciar um download que será filtrado também avisa isso. A grade, suas facetas de coluna e o download contêm apenas as linhas que você pode ver. Consulte O que um membro restrito vê.

A visão Details

A visão Details oferece uma maneira eficiente de ver os dados em alto nível e expõe ferramentas para filtrar rapidamente até chegar às informações com operações de apontar e clicar.

Dados de colunas e contagens de valores exclusivos

Cada coluna é exibida, desde que esteja marcada como visível. O resumo da coluna exibe os 1.000 principais valores exclusivos por contagem. O número de valores exclusivos exibidos pode ser ajustado selecionando outro valor em Detailed Rows Displayed.

Uma coluna numérica mostra suas estatísticas em vez de uma lista de valores: mínimo, máximo, média, soma, desvio padrão e variância. Os nulos são deixados de fora dessas estatísticas, e uma coluna que contém apenas nulos mostra, em vez disso, suas contagens de valores. Isso vale para todos os mecanismos de lakehouse, incluindo o StarRocks.

Uma coluna cujo resumo demora demais para ser calculado mostra Tempo limite do perfil esgotado, e uma coluna cujo resumo não pode ser carregado mostra Falha no perfil. Passe o ponteiro sobre o selo para ver o motivo: um problema com um filtro é indicado ali, e uma falha do lado do PlaidCloud traz um ID que a equipe do PlaidCloud pode usar para rastreá-la. Para tentar novamente, use o botão de atualização da coluna.

Gerenciando filtros de apontar e clicar

Cada coluna oferece filtragem de apontar e clicar ao ativar o botão de alternância do filtro na parte superior da coluna. Selecione os itens da coluna que você quer incluir nos dados resultantes. A seleção múltipla é compatível.

Depois de aplicar um filtro, pode haver itens que você queira remover ou você pode querer limpar o filtro de toda a coluna sem limpar todos os filtros. Isso é feito selecionando a lista suspensa no botão de filtro da coluna e desmarcando colunas ou selecionando a opção de limpar tudo no topo.

Gerenciando a sumarização

A sumarização dos dados pode ser aplicada alternando o botão Summarize para On. Quando o botão Summarize é ativado, cada coluna exibe um tipo de sumarização a aplicar. Ajuste o tipo de sumarização desejado para cada coluna.

Quando as sumarizações desejadas estiverem concluídas, atualize os dados e as sumarizações serão aplicadas.

Exemplos de tipos de sumarização são Min, Max, Sum, Count e Count Distinct.

Encontrando valores distintos

Ativar o botão Distinct ajuda a reduzir os dados a apenas um conjunto de registros exclusivos. Quando o botão Distinct está ativo, uma caixa de seleção Distinct aparece em cada coluna. Desmarque as colunas que NÃO definem a exclusividade da coluna para o conjunto de dados. Por exemplo, se você quiser encontrar o conjunto exclusivo de clientes em uma tabela de pedidos de clientes, selecione apenas a coluna do cliente, em vez de incluir também o número do pedido do cliente.

Estatísticas de perfil de colunas

Toda coluna exibe estatísticas de perfil na parte inferior de suas informações, independentemente do tipo de dados.

As colunas Vector são a única exceção: elas ficam de fora do perfil e nenhuma lista de valores é criada para elas. Um mínimo, uma média ou uma lista dos principais valores não diz nada sobre um embedding, e a lista de valores seria composta de arrays brutos com centenas de números cada um.

As colunas de inteiros e numéricas exibem estas estatísticas, calculadas sobre todo o conjunto de dados filtrado:

Mínimo
Máximo
Média
Desvio padrão
Soma

Toda coluna — numérica, de texto, de data ou de qualquer outro tipo — também exibe estas estatísticas, calculadas sobre toda a tabela sem filtro:

Null Count (All Rows) — o número de valores nulos em toda a tabela
Null % (All Rows) — os valores nulos como porcentagem de toda a tabela
Blank Count (All Rows) — somente colunas de texto. Um valor em branco é um valor vazio ou composto apenas de espaços após o corte, diferente de um nulo.
Blank % (All Rows) — os valores em branco como porcentagem de toda a tabela
Distinct % of Non-Null (All Rows) — os valores distintos como porcentagem das linhas que realmente têm um valor. Os nulos são excluídos tanto da contagem de distintos quanto do total; assim, uma coluna com 90% de nulos, mas cujos valores preenchidos são todos exclusivos, mostra 100%, e não 10%.

Essas estatísticas (All Rows) são calculadas no servidor e de forma determinística, sem uso de IA nem de amostragem — a mesma coluna retorna os mesmos números todas as vezes. Elas respeitam a segurança em nível de linha, de modo que você só vê estatísticas calculadas sobre as linhas que tem direito de ver. Calculá-las custa uma consulta adicional de tabela inteira, sujeita ao mesmo orçamento de 60 segundos das outras facetas de coluna; se essa consulta atingir o tempo limite, o restante da grade não é afetado.

Formato da distribuição

Para colunas numéricas, o Explorador de tabelas também informa como os valores estão distribuídos, e não apenas onde eles se concentram.

Skewness (All Rows) — mede se os valores da coluna se inclinam para um lado da média ou se estão distribuídos de forma equilibrada em torno dela. Um valor próximo de zero significa que os valores são aproximadamente simétricos; um valor fortemente positivo ou negativo significa que a coluna tem uma cauda longa que se estende para uma das extremidades. Isso pode revelar um formato que a Média e o Desvio padrão sozinhos ocultariam — por exemplo, um punhado de valores muito grandes puxando a média para cima enquanto a maior parte da coluna fica muito mais abaixo.
Um histograma abaixo das estatísticas de cada coluna numérica agrupa seus valores em 10 intervalos de mesma largura que abrangem toda a faixa da coluna, para que você veja o formato da distribuição de relance. Passe o ponteiro sobre uma barra para ver a faixa exata de valores que ela cobre e quantas linhas se enquadram nela.

Como as outras estatísticas (All Rows), a assimetria e o histograma sempre abrangem toda a tabela, independentemente do seu filtro atual. A assimetria é omitida — nunca mostrada como zero ou como um erro — para uma coluna com menos de dois valores ou sem nenhuma variação, pois nesse caso ela não pode ser calculada de forma significativa. O histograma é omitido da mesma forma para uma coluna sem faixa calculável, como uma que seja inteiramente nula.

Radar de qualidade de dados

O Explorador de tabelas executa cinco verificações automáticas em cada coluna para sinalizar dados que merecem uma análise mais atenta:

Outliers — valores numéricos estatisticamente distantes do restante da coluna (a mais de três desvios padrão da média).
Format — valores de texto que não correspondem ao padrão dominante encontrado no restante da coluna, como uma coluna que é quase toda de datas, com alguns valores de texto livre misturados. Essa verificação só é executada em colunas com pelo menos 100 valores não vazios e só sinaliza uma divergência quando um padrão claramente domina — mais de 95% dos valores da coluna correspondendo a ele.
Duplicates — valores repetidos em uma coluna que faz parte da chave de linha declarada da tabela, em que todo valor deveria ser exclusivo. Essa verificação só é executada em tabelas com uma chave de linha declarada — as chaves de atualização da tabela são usadas como chave de linha.
Orphans — valores em uma coluna vinculada a uma dimensão que não correspondem a nenhum membro dessa dimensão.
Constant — todos os valores não nulos da coluna são iguais, o que normalmente significa que a coluna não traz nenhuma informação útil.

Essas verificações são executadas sobre toda a tabela, assim como as estatísticas (All Rows) acima — o seu filtro atual não tem efeito sobre elas.

Um selo aparece diretamente em uma coluna na visão Details para qualquer verificação que tenha encontrado algo, e um selo esmaecido aparece para uma verificação que não pôde ser concluída. Abra Data Quality Radar no menu Actions para ver um resumo classificado de cada coluna em relação às cinco verificações — incluindo as verificações que deram resultado limpo ou que não se aplicam, e não apenas as que foram sinalizadas.

Cada verificação informa, de forma independente, um de cinco resultados: sinalizada, limpa, não aplicável, tempo limite esgotado ou indisponível. Uma verificação nunca é ignorada silenciosamente — você sempre pode ver por que uma coluna não tem veredito para determinada verificação.

Correlações

Para colunas numéricas, o Explorador de tabelas também informa com que intensidade os valores de uma coluna se movem juntos com as outras colunas numéricas da tabela.

Pearson r vs <column> (Complete Cases) — com que intensidade duas colunas se movem juntas em uma relação linear, de -1 (perfeitamente opostas) passando por 0 (nenhuma relação linear) até +1 (perfeitamente juntas).
Spearman ρ vs <column> (Complete Cases) — com que intensidade duas colunas se movem juntas em ordem de classificação, seja ou não uma relação linear. Um par que sobe junto de forma consistente, mas descrevendo uma curva em vez de uma reta, pode ter pontuação maior em Spearman do que em Pearson.
Complete Cases (All Rows) — a partir de quantas linhas os coeficientes acima dele são realmente calculados.

As correlações são calculadas em relação a até 10 outras colunas numéricas atualmente visíveis na visão Details, e somente com as linhas que têm valor em todas essas colunas numéricas — não apenas no par comparado. É por isso que o escopo é rotulado como (Complete Cases) em vez de (All Rows): é um subconjunto listwise mais restrito da tabela, e chamá-lo de (All Rows) exageraria o que os coeficientes descrevem. A própria contagem Complete Cases (All Rows) é medida em relação a toda a tabela, como as outras estatísticas (All Rows) — ela não é afetada pelo seu filtro atual, mas muda se você alterar quais colunas numéricas estão visíveis.

As correlações são totalmente omitidas, em vez de mostradas com evidências insuficientes, a menos que existam pelo menos 10 linhas de casos completos e que elas representem pelo menos 10% da tabela. Uma única coluna parceira cujo próprio coeficiente não pode ser calculado — por exemplo, por não haver variação nessa coluna — descarta apenas essa linha, e não o conjunto inteiro.

Copiando dados

Às vezes é útil permitir a cópia de dados selecionados do PlaidCloud para que possam ser colados em outros aplicativos, como uma planilha.

No botão Copiar, no canto superior direito, há várias opções de cópia para os dados:

Copiar tudo - Copia todos os dados para a área de transferência
Copiar seleção - Copia os dados selecionados para a área de transferência
Copiar célula - Copia apenas o conteúdo de uma única célula para a área de transferência
Copiar coluna - Copia o conteúdo completo da coluna para a área de transferência

Exportando dados

Exportar dados pela interface do Explorador de tabelas permite exportar os dados filtrados somente com as colunas visíveis. Você pode exportar nos seguintes formatos:

Microsoft Excel (xlsx)
CSV (vírgula)
TSV (tabulação)
PSV (barra vertical)

O menu Download também oferece a opção de baixar apenas as linhas visíveis no navegador. Isso se baseia no limite de linhas especificado.

Ações adicionais

Outras ações úteis estão disponíveis no menu Actions.

Salvar como etapa de extração

Ao explorar dados, isso costuma ocorrer no contexto de determinar como filtrá-los para um processo de pipeline de dados. Isso geralmente consiste em aplicar vários filtros, incluindo filtros avançados, para chegar ao resultado desejado.

Em vez de tentar replicar todos os filtros, colunas, sumarizações e ordenações em uma etapa de extração, você pode simplesmente salvar as configurações atuais do Explorador de tabelas como uma nova etapa de extração.

Salvar como visão

Assim como ao salvar as configurações atuais do Explorador de tabelas como uma etapa de extração, descrito acima, você também pode salvar as configurações diretamente como uma visão.

Isso pode ser particularmente útil ao construir recortes de dados para relatórios ou outros processos downstream que não exigem um pipeline de dados.

Gerenciar filtros salvos

Você nunca precisa perder o trabalho que fez com filtros. Você pode salvar as configurações do Explorador de tabelas como um filtro salvo. Os filtros salvos também incluem a visibilidade das colunas, as sumarizações, os filtros de colunas, os filtros avançados e as ordenações.

Você também pode permitir que outras pessoas usem um filtro salvo marcando a caixa de seleção Public ao salvá-lo.

No menu Actions, você também pode optar por excluir e renomear filtros salvos.

Filtros avançados

Embora os filtros de coluna de apontar e clicar permitam aplicar filtros rapidamente para chegar aos resultados desejados, às vezes as condições de filtro são complexas e exigem especificações mais avançadas.

A área de filtros avançados oferece um filtro de pré-agregação e um filtro de pós-agregação, se Summarize estiver ativado.

Qualquer expressão Python válida é aceita para filtrar um subconjunto dos dados. Consulte Expressões para ver mais detalhes e exemplos.