Importar: Origem Singer

Descrição

O passo Importar Origem Singer (apresentado como Importar: Origem Singer no seletor de passos) obtém um ou mais fluxos de uma origem Singer para tabelas de projeto. Uma origem Singer é uma ligação do tipo Origem Singer que envolve um tap Singer — um conector para uma aplicação SaaS, API ou base de dados específica, como Stripe, GitHub, Slack ou BigQuery. O passo deteta os fluxos disponíveis do tap, o utilizador escolhe quais importar e onde cada um é colocado, e o executor extrai os dados e carrega-os nos destinos.

Para um guia completo, consulte o guia de Origens Singer; para as origens disponíveis e a respetiva documentação de configuração, consulte o catálogo de Origens Singer.

Configuração

Ligação (obrigatório) — uma ligação do tipo Origem Singer.
Modo de sincronização (obrigatório) — Tabela completa (substituir em cada execução), Incremental (acrescentar novos dados) ou Upsert (fundir pela chave). O modo incremental só funciona para fluxos que o tap consegue sincronizar de forma incremental (os que têm uma chave de replicação); o passo retoma a partir da posição da execução anterior. O upsert funde cada execução no destino pelas colunas-chave do fluxo.
Detetar fluxos — executa a deteção do catálogo do tap no executor e lista os fluxos que oferece.
Canais (pelo menos um) — para cada fluxo detetado: Importar este fluxo para o incluir e uma Tabela de destino para onde é colocado. Cada fluxo selecionado precisa de uma tabela de destino. Quando o modo de sincronização é Upsert, cada fluxo selecionado precisa também de Colunas-chave (um nome de coluna por linha) — as colunas pelas quais uma linha é correspondida; por predefinição, assumem a chave primária declarada pelo tap.

Comportamento

A deteção é executada como uma tarefa própria e pode demorar até cerca de três minutos num arranque a frio; o resultado fica em cache, pelo que as deteções seguintes são instantâneas.
Tabela completa substitui a tabela de destino em cada execução; incremental acrescenta apenas as linhas que são novas desde a última execução, utilizando a chave de replicação do tap; upsert volta a extrair o fluxo completo e funde-o no destino pelas colunas-chave de cada fluxo — as linhas correspondentes são atualizadas, as chaves novas são inseridas e as linhas existentes sem correspondência são mantidas. O destino é criado na primeira execução. As linhas com uma coluna-chave nula nunca correspondem e são sempre inseridas, pelo que deve escolher colunas-chave que estejam sempre presentes.
Os fluxos selecionados são o conjunto guardado — para alterar a seleção, volte a detetar. Os fluxos que reaparecem mantêm a tabela de destino e a seleção que definiu.
As credenciais da origem são lidas da ligação no momento da execução, pelo que a sua rotação na ligação se aplica a todos os passos que a utilizam — sem atualizações por passo.