Pular para o conteúdo

Combina inserção e atualização em uma única operação, usando como chave de correspondência uma ou mais colunas que você designar. Para cada linha da origem: se existir no destino uma linha correspondente (com os mesmos valores de chave), ela é atualizada; caso contrário, uma nova linha é inserida.

Use esta etapa quando tiver um fluxo incremental de dados que inclua tanto registros novos quanto revisões de registros existentes, como atualizações de vendas, alterações em cadastros de funcionários ou qualquer cenário do tipo “sempre refletir o estado mais recente”. Especifique as colunas de correspondência com cuidado: linhas que compartilham os valores de chave, mas diferem nos demais, serão sobrescritas, portanto uma escolha ruim de chave pode corromper os dados sem aviso.

destino (existente)id 1 · Aid 2 · Borigem (incremental)id 2 · B′id 3 · Ccorrespondência por idresultadoid 1 · Amantidaid 2 · B′atualizadaid 3 · Cinserida
O upsert mescla a origem no destino pela chave de correspondência: uma chave existente é atualizada (id 2 → B′) e uma chave nova é inserida (id 3). Escolha a chave com cuidado: as linhas que a compartilham são sobrescritas.

Origem e destino

Para definir as tabelas de origem e de destino, primeiro selecione a tabela de dados da qual extrair usando o menu suspenso Tabela de origem. Em seguida, selecione uma tabela existente como tabela de destino usando o menu suspenso Tabela de destino.

Quando a etapa é executada

As etapas Table Extract, Table Lookup, Table Inner Join, Table Cross Join, Table Outer Join, Table Anti Join, Junção de várias tabelas, Table Union Distinct, Table Union All, Table Pivot, Table Melt, Table In-Place Delete, Table Upsert e Table Append verificam suas tabelas de origem quando são executadas, antes de gravar qualquer coisa. A verificação compara a consulta que a etapa montou com cada tabela de origem como ela está naquele momento:

  • Uma coluna que a etapa lê e que a tabela não tem, uma chave de junção que a tabela não tem ou que não está nas colunas de origem da etapa, ou uma tabela de origem que a etapa lê e que não foi construída interrompe a etapa. Um único erro nomeia todos os problemas, cada um com a sua própria correção. Uma tabela de destino que já existia permanece como estava, e uma que a etapa precisou criar fica vazia.
  • Uma coluna que a etapa lista, mas não lê, e que a tabela não tem mais, gera um aviso. A etapa é executada sem ela.
  • Table Union Distinct e Table Union All são a exceção para uma tabela de origem que não foi construída: elas a deixam de fora, sem aviso, e combinam as demais, como antes. Se nenhuma das tabelas de origem tiver sido construída, elas terminam com um aviso em vez de falhar.

Uma etapa cujo destino é uma visão apenas cria a visão, portanto as colunas e as chaves de junção que ela lista são verificadas em relação às suas tabelas somente quando o warehouse se recusaria a criar essa visão de qualquer forma. Nos demais casos, apenas uma tabela de origem que não foi construída ou uma chave de junção que a etapa não lista a interrompe, e nenhum aviso é adicionado.

Sempre que possível, o erro nomeia a etapa que constrói uma tabela e, quando a tabela tem uma coluna cujo nome é parecido com o de uma coluna ausente, por exemplo uma que difere apenas na caixa das letras, ele nomeia essa coluna também.

Table Upsert

O Data Mapper é usado para mapear as colunas dos dados de origem para a tabela de dados de destino.

O botão de menu Inspecionar origem oferece formas adicionais de mapear colunas da origem para o destino:

  • Preencher ambas as tabelas de mapeamento: propaga todos os valores da tabela de dados de origem para a tabela de dados de destino. Este é o comportamento padrão.
  • Preencher somente a tabela de mapeamento de origem: mapeia apenas todos os valores da tabela de dados de origem. É útil ao modificar um fluxo de trabalho existente quando a estrutura de colunas da origem mudou.
  • Preencher somente a tabela de mapeamento de destino: propaga todos os valores apenas para a tabela de dados de destino.

Se as opções de colunas de origem e de destino não forem suficientes, é possível adicionar outras colunas à tabela de dados de destino de várias maneiras:

  • Propagar tudo insere todas as colunas de origem na tabela de dados de destino, quer já existam ou não.
  • Propagar selecionadas insere apenas as colunas de origem selecionadas.
  • Clique com o botão direito no lado do destino e selecione Inserir linha para inserir uma linha imediatamente acima da linha selecionada.
  • Clique com o botão direito no lado do destino e selecione Anexar linha para inserir uma linha na parte inferior (extrema direita) da tabela de dados de destino.

Para excluir colunas da tabela de dados de destino, selecione as colunas desejadas, clique com o botão direito e selecione Excluir.

Para reorganizar as colunas da tabela de dados de destino, selecione as colunas desejadas. Você pode usar:

  • Setas de movimentação em massa: selecione a opção de movimentação desejada nas setas no canto superior direito
  • Menu de contexto: clique com o botão direito e selecione Mover para o início, Mover para cima, Mover para baixo ou Mover para o final.

Para retornar apenas opções distintas, selecione a opção de menu Distintos. Isso exibe um conjunto de caixas de seleção para cada coluna da origem. Basta marcar a caixa ao lado da coluna correspondente para retornar apenas resultados distintos.

Dependendo da situação, vale considerar o uso de sumarização.

O processo de eliminação de duplicatas mantém o primeiro registro exclusivo encontrado e descarta os demais. Talvez você queira aplicar uma ordenação aos dados se a consistência entre execuções for importante.

A grade de colunas de destino tem uma coluna Chave de atualização, logo após o nome da coluna de destino. Marque-a nas colunas que, juntas, identificam uma linha: uma linha de origem cujos valores de chave correspondem a uma linha já existente no destino atualiza essa linha, e qualquer outra linha de origem é inserida.

Toda coluna começa marcada, então desmarque as colunas que não fazem parte da chave. Uma coluna sem a configuração Chave de atualização, como uma que o preenchimento acabou de adicionar ou que foi salva pela API sem ela, conta como chave. Pelo menos uma coluna deve permanecer marcada.

Colunas de destino que faltam na tabela de destino

Seção intitulada “Colunas de destino que faltam na tabela de destino”

Um upsert atualiza e insere linhas na tabela de destino no estado em que ela está e nunca adiciona uma coluna a ela, então uma execução falha em uma Coluna de destino que a tabela não tem. Quando a etapa é aberta, e novamente sempre que você escolhe outra tabela de destino, o formulário lê as colunas da tabela de destino, preenchendo qualquer variável no nome dela com as variáveis do fluxo de trabalho. Cada Coluna de destino que a tabela não tem aparece em vermelho, após um sinal de aviso ⚠, e ao passar o mouse sobre ela é exibida a mensagem A coluna “region” não está na tabela de destino. Os nomes são comparados sem diferenciar maiúsculas e minúsculas, então Region corresponde a region. A mesma marca aparece em uma Coluna de origem que as colunas de origem não listam mais, por exemplo depois que a origem foi inspecionada novamente, com a mensagem A coluna “region” não está nas colunas de origem.

Nada é marcado enquanto a tabela de destino ainda não existe, porque a execução a cria a partir do mapeamento, nem enquanto as colunas dela não podem ser lidas. Uma coluna da tabela que o mapeamento deixa de fora não é marcada, mas o servidor ainda assim se recusa a salvar a etapa, conforme descrito em O que é verificado ao salvar.

Ao salvar uma etapa com uma Coluna de destino marcada dessa forma, a caixa de diálogo Colunas obsoletas encontradas lista as linhas marcadas sob Colunas, abaixo de Estas linhas indicam uma coluna que a etapa não pode usar:, e termina com A etapa não pode ser salva até que as colunas que faltam na tabela de destino sejam adicionadas a ela ou que suas linhas sejam removidas. Ela oferece duas opções:

  • Remover todas e salvar — remove todas as linhas marcadas, de modo que essas colunas deixam de ser carregadas, e em seguida salva.
  • Cancelar — volta para a etapa sem salvar.

Não há Salvar mesmo assim, porque o servidor se recusa a salvar um mapeamento que indique uma coluna que a tabela de destino existente não tem. Para manter uma linha, adicione a coluna dela à tabela de destino e salve a etapa novamente. A exceção é uma tabela de destino nomeada com uma variável, como {year}/Customers: o servidor deixa essa verificação para a execução, então a caixa de diálogo ainda oferece Salvar mesmo assim. Quando as linhas estão marcadas apenas pela Coluna de origem, a caixa de diálogo oferece Remover todas e salvar, Salvar mesmo assim e Cancelar.

Filtros de dados da tabela

Para oferecer o máximo de flexibilidade, há filtros de dados tanto nos dados de origem quanto nos dados de destino. Em conjuntos de dados maiores, filtrar linhas na origem pode ser especialmente vantajoso, pois as demais operações são executadas sobre um conjunto de dados menor.

Selecionar subconjunto de dados

Este tipo de filtro permite filtrar os dados de origem de entrada com base nas condições especificadas.

Aplicar filtro secundário aos dados de resultado

Este tipo de filtro permite aplicar um filtro aos dados de resultado já transformados, com base nas condições especificadas. Aplicar um filtro ao resultado transformado permite fazer exclusões com base em resultados de cálculos complexos, sumarizações ou funções de janela.

Divisão final da tabela de dados (limite)

O recurso de divisão de linhas permite limitar as linhas do conjunto de resultados com base em um intervalo e um ponto de partida.

Sintaxe de filtro

A sintaxe de filtro usa o Python SQLAlchemy, a mesma sintaxe das outras expressões.

Veja exemplos e funções de expressão na área Expressões.

  • Pelo menos uma Chave de atualização. Caso contrário, o salvamento é recusado com At least one target column must be marked as Update Key.
  • O mapeamento corresponde a uma tabela de destino existente. Quando a tabela de destino já existe, a etapa deve mapear todas as colunas dela, não mapear nenhuma coluna que a tabela não tenha e dar a cada coluna o tipo da tabela, de modo que um upsert não possa remover uma coluna da tabela, com seus dados, nem alterar o tipo de uma coluna. Numérico e moeda contam como o mesmo tipo. A recusa nomeia cada diferença, por exemplo The target columns must match the existing target table ‘customers’. The table has columns the step doesn’t map: region. Uma tabela de destino que ainda não existe, ou nomeada com uma variável, é verificada quando a etapa é executada. A guia Colunas marca uma coluna que a tabela não tem antes de você salvar e, a menos que a tabela seja nomeada com uma variável, ao salvar é oferecida apenas a remoção da linha dela. Consulte Colunas de destino que faltam na tabela de destino.
  • Um mapeamento vazio é preenchido para você. Salvar com uma tabela de origem escolhida, mas sem colunas de origem ou de destino, preenche o lado vazio a partir da origem, como faria Preencher ambas as tabelas de mapeamento.