Table Union All

Descrição

Utilize-o para combinar várias tabelas de dados com a mesma estrutura de colunas numa única tabela de dados. Por exemplo, os dados de séries temporais são um candidato ideal para esta transformação. O resultado são todos os registos das tabelas combinadas.

Union All empilha tabelas que partilham as mesmas colunas e mantém todas as linhas — as duas linhas «Este» sobrevivem. Para eliminar duplicados, utilize Union Distinct.

Origens

A secção Origens funciona como uma coleção de todas as tabelas de dados a acrescentar em conjunto. Normalmente, todas as tabelas de dados têm a mesma estrutura de colunas (ou uma semelhante). Existem dois botões para adicionar uma tabela de dados à lista:

Inserir linha
Acrescentar linha

Além disso, clicar com o botão direito do rato na janela Selecionar origem a editar apresenta as mesmas opções. Clicar com o botão direito do rato numa tabela já adicionada apresenta também a opção Eliminar.

Para executar corretamente a transformação, tem de existir uma entrada na secção Origens por cada tabela de dados de origem a acrescentar. Estas entradas são listadas pela ordem em que serão acrescentadas. Para ajustar a ordem, clicar com o botão direito do rato numa tabela apresenta as seguintes opções:

Mover para baixo (se aplicável)
Mover para o fim (se aplicável)
Mover para cima (se aplicável)
Mover para o início (se aplicável)

Por predefinição, cada origem chama-se New Frame, mas recomenda-se ao modelador que indique nomes descritivos, fazendo duplo clique no nome e mudando-o em conformidade.

Tabela de destino

Por predefinição, a Tabela de destino fica em branco. Antes de lhe atribuir um nome, tenha em conta que as tabelas de dados têm de seguir as convenções de nomenclatura do Linux. Por isso, recomendamos que os nomes sejam compostos apenas por carateres alfanuméricos. O Analyze remove automaticamente quaisquer carateres inválidos do nome. Além disso, limita o comprimento a 256 carateres, por isso seja conciso!

Tabela de destino

Para definir a tabela de destino, selecione uma tabela existente através da lista pendente Tabela de destino ou clique no sinal “+” verde para criar uma nova tabela como destino.

Criação de tabelas

Ao criar uma nova tabela, pode criá-la como Vista ou como Tabela.

Vistas:

As vistas são úteis porque o tempo necessário para executar um passo é significativamente inferior ao de uma tabela. A desvantagem das vistas é que não são adequadas para a exploração de dados no modo Detalhes da tabela.

Tabelas:

Quando se utiliza uma tabela como destino, a execução de um passo demora mais, mas a exploração de dados no modo Detalhes é muito mais rápida do que com uma vista.

Separador Seleção de dados da tabela

Tabela de origem

Seleção de tabelas

Existem duas opções para selecionar a tabela ou, na segunda opção, as tabelas:

A primeira opção consiste em utilizar a lista pendente Tabela específica para selecionar a tabela.

A segunda consiste em utilizar a opção Tabelas correspondentes à pesquisa, na qual se indicam o Caminho de pesquisa e o Texto de pesquisa para selecionar a tabela ou as tabelas que correspondem aos critérios de pesquisa. Esta opção é muito útil quando existe um fluxo de trabalho que cria uma série de tabelas com nomes comuns, guardadas com a data anexada ao nome.

Seleção dinâmica de tabelas

Colunas de origem

Configuração do Data Mapper

Table Data Mapper

O Data Mapper serve para mapear colunas dos dados de origem para a tabela de dados de destino.

Inspeção e preenchimento do mapeador

Utilizar o botão de menu Inspecionar origem oferece formas adicionais de mapear colunas da origem para o destino:

Preencher ambas as tabelas de mapeamento: propaga todos os valores da tabela de dados de origem para a tabela de dados de destino. É o comportamento predefinido.
Preencher apenas a tabela de mapeamento de origem: mapeia apenas todos os valores da tabela de dados de origem. É útil ao modificar um fluxo de trabalho existente cuja estrutura de colunas de origem mudou.
Preencher apenas a tabela de mapeamento de destino: propaga todos os valores apenas para a tabela de dados de destino.

Se as opções de colunas de origem e de destino não forem suficientes, podem adicionar-se outras colunas à tabela de dados de destino de várias formas:

Propagar tudo insere todas as colunas de origem na tabela de dados de destino, quer já existam ou não.
Propagar selecionadas insere apenas as colunas de origem selecionadas.
Clique com o botão direito do rato no lado do destino e selecione Inserir linha para inserir uma linha imediatamente acima da linha atualmente selecionada.
Clique com o botão direito do rato no lado do destino e selecione Acrescentar linha para inserir uma linha no fim (extremo direito) da tabela de dados de destino.

Eliminar colunas

Para eliminar colunas da tabela de dados de destino, selecione as colunas pretendidas, clique com o botão direito do rato e selecione Eliminar.

Colunas de origem que já não constam da lista

Uma linha de destino pode indicar uma Coluna de origem que a tabela de dados de origem já não lista, por exemplo depois de a origem ter sido inspecionada novamente. O passo nunca remove essa linha por si. Em vez disso, o nome da coluna é apresentado a vermelho, atrás de um sinal de aviso ⚠, e, ao passar o cursor por cima, é indicado que a coluna não consta das colunas de origem. Num passo com várias tabelas, como uma união, cada tabela é verificada em relação às suas próprias colunas de origem.

Uma linha com uma Constante, uma Expressão ou um resumo Contagem (incluindo nulos) nunca é sinalizada, porque o passo não lê a respetiva coluna de origem. Nada é sinalizado enquanto a tabela de dados de origem não listar colunas, por exemplo antes de a origem ser inspecionada pela primeira vez.

Ao guardar um passo que ainda tem linhas sinalizadas, uma caixa de diálogo Colunas obsoletas encontradas lista-as sob o separador ou a tabela em que se encontram e oferece três opções:

Remover todas e guardar: remove as linhas sinalizadas e depois guarda.
Guardar mesmo assim: guarda o passo tal como está.
Cancelar: volta ao passo sem guardar.

Para manter uma linha e eliminar o respetivo aviso, adicione a coluna de volta à tabela de dados de origem ou escolha uma coluna que a tabela de dados de origem liste.

Colunas em falta na tabela de origem

Ao guardar, a própria tabela de dados de origem é verificada tal como está agora. Uma coluna que o passo lista nas suas colunas de origem mas que a tabela não tem, por exemplo uma que um passo anterior renomeou ou eliminou, significa que as colunas do passo estão desatualizadas, e um passo que lê uma coluna dessas falha quando é executado. Guardar abre então uma caixa de diálogo Colunas de origem em falta que indica cada tabela e as colunas que lhe faltam, com duas opções:

Guardar mesmo assim — guardar o passo tal como está.
Cancelar — voltar ao passo sem guardar.

Nada é removido por si, porque o problema pode estar na tabela, e esta pode voltar a mudar antes de o passo ser executado. Quando há também linhas assinaladas como já não listadas, ambas aparecem em conjunto na caixa de diálogo Colunas obsoletas encontradas, e Remover todas e guardar remove apenas as linhas assinaladas. Enquanto a lista de colunas de origem estiver vazia, são verificadas em vez disso as colunas que o passo mapeia, exceto as linhas com uma Constante, uma Expressão ou um resumo Contagem (incluindo nulos), que não leem nenhuma coluna.

Uma origem nomeada com uma variável, como {year}/Sales, é verificada com o valor da variável no momento em que guarda, e a caixa de diálogo indica a tabela que verificou, como 2026/Sales (from {year}/Sales). Uma variável definida por um ciclo contém o valor da sua última iteração, pelo que um ciclo sobre tabelas com estruturas diferentes pode avisar sobre uma tabela que a execução seguinte não vai ler. Não é verificada uma tabela que ainda não existe, por exemplo uma que um passo anterior do fluxo de trabalho cria, nem uma origem cuja variável não tem valor, uma tabela que o passo encontra por pesquisa quando é executado, ou uma tabela que não pode ser lida neste momento.

Tipo de dados da coluna

Cada coluna de destino tem um Tipo. Uma coluna propagada da origem mantém o tipo da coluna de origem; uma linha que adicione manualmente começa como Texto, e define o Tipo para indicar o que a coluna deve realmente ser. Uma coluna que pretenda somar ou ordenar precisa do respetivo tipo numérico ou de data, porque o texto é ordenado e somado como texto.

Um passo guardado com uma coluna sem qualquer tipo é, mesmo assim, executado. O tipo é determinado quando o passo é iniciado, a partir da coluna de origem que essa coluna lê. Quando não há nada de onde o ler, é tratado como texto: as colunas de um passo Extrair SQL vêm da consulta que escreveu e não de uma origem mapeada e, quando várias origens têm o mesmo nome de coluna com tipos discordantes, é utilizado texto em vez de adivinhar um deles, porque um palpite errado produz uma conversão que o armazém pode rejeitar, e tudo se converte em texto.

Definir o Tipo manualmente continua a ser a forma de indicar o que uma coluna deve ser. Deixá-lo por definir significa aceitar o que a coluna de origem for.

Alterar a ordem das colunas

Para reordenar as colunas na tabela de dados de destino, selecione as colunas pretendidas. Pode utilizar:

Setas de movimento em massa: selecione a opção de movimento pretendida nas setas no canto superior direito
Menu de contexto: clique com o botão direito do rato e selecione Mover para o início, Mover para cima, Mover para baixo ou Mover para o fim.

Reduzir o resultado apenas a registos distintos

Para devolver apenas opções distintas, selecione a opção de menu Distinto. Isto apresenta um conjunto de caixas de verificação para cada coluna da origem. Basta marcar a caixa junto da coluna correspondente para devolver apenas resultados distintos.

Consoante a situação, pode ser preferível considerar a utilização da sumarização.

O processo de distinção mantém o primeiro registo único encontrado e descarta os restantes. Pode querer aplicar uma ordenação aos dados, se for importante para a consistência entre execuções.

Agregação e agrupamento

Para agregar resultados, selecione a opção de menu Resumir. Isto apresenta um conjunto de caixas de seleção para cada coluna da tabela de dados de destino. Escolha um método de sumarização adequado para cada coluna.

Quando Inspecionar origem preenche as colunas, uma coluna numérica começa como Agrupar por em vez de Soma se o nome se assemelhar a um identificador, como id, customer_id, Order No ou CustomerKey, se a respetiva tabela a definir como chave ou se a junção a utilizar como chave.

Agrupar por
Soma
Mínimo
Máximo
Primeiro
Último
Contagem
Contagem (incluindo nulos)
Média
Desvio padrão
Desvio padrão da amostra
Desvio padrão da população
Variância
Variância da amostra
Variância da população
Avançado sem agrupar por

Para uma utilização avançada do Data Mapper, como expressões, limpeza e constantes, consulte Utilização avançada do Data Mapper

Filtros de dados

Table Data Filters

Para permitir a máxima flexibilidade, existem filtros de dados disponíveis nos dados de origem e nos dados de destino. Em conjuntos de dados maiores, pode ser especialmente vantajoso filtrar linhas na origem, para que as restantes operações sejam executadas sobre um conjunto de dados mais pequeno.

Selecionar subconjunto de dados

Este tipo de filtro permite filtrar os dados de origem recebidos com base nas condições especificadas.

Aplicar filtro secundário aos dados de resultado

Este tipo de filtro permite aplicar um filtro aos dados de resultado depois de transformados, com base nas condições especificadas. A possibilidade de aplicar um filtro ao resultado transformado permite exclusões com base nos resultados de cálculos complexos, sumarizações ou funções de janela.

Divisão final da tabela de dados (limite)

A capacidade de divisão de linhas permite limitar as linhas do conjunto de resultados com base num intervalo e num ponto de partida.

Sintaxe de filtros

A sintaxe de filtros utiliza o Python SQLAlchemy, que é a mesma sintaxe das outras expressões.

Consulte exemplos e funções de expressão na área Expressões.

Correspondência de colunas

Corresponder colunas por, em Tabela de destino, escolhe como as origens se alinham:

Nome (predefinição) — as colunas de cada origem são correspondidas às da primeira origem pelo nome.
Posição — as origens são empilhadas por ordem, tal como o union do Spark faz. O resultado assume os nomes das colunas da primeira origem, e todas as origens precisam do mesmo número de colunas. O mapeamento de colunas de cada origem não é utilizado, pelo que o respetivo separador Seleção de dados da tabela fica desativado.

Com Posição, cada coluna assume um tipo que todas as origens satisfazem: dois tipos numéricos tornam-se o mais amplo, uma data e um carimbo de data/hora tornam-se um carimbo de data/hora, e as outras combinações tornam-se texto. Uma coluna booleana ou binária combinada com outro tipo não tem tipo comum e faz o passo falhar, tal como origens com números de colunas diferentes.

Se todas as tabelas de origem estiverem em falta, o passo termina com um aviso em vez de falhar, em qualquer dos modos.

O que é verificado ao guardar

Cada origem tem de produzir as mesmas colunas que a primeira origem: os mesmos nomes de colunas e, quando ambas declaram um, o mesmo tipo. A tabela de destino é criada a partir das colunas da primeira origem. Uma origem pode listar as suas colunas por outra ordem, porque são correspondidas pelo nome. Guardar um passo cujas origens difiram é recusado, com indicação de cada diferença: Source ‘east’ must produce the same columns as ‘west’: missing region; not in ‘west’: area.

Ao guardar, também se preenche, a partir da respetiva tabela, o mapeamento de cada origem que tenha uma tabela de origem mas não tenha colunas de origem ou de destino, tal como Preencher ambas as tabelas de mapeamento faria.