Pular para o conteúdo

Conecte uma fonte de dados ativa

~30 minutos · uma conexão, uma tabela carregada, uma atualização agendada

Os outros tutoriais partem de um CSV que você carrega. Os dados reais geralmente ficam em outro lugar — um banco de dados, um data warehouse, um aplicativo SaaS, um armazenamento em nuvem — e você quer que o PlaidCloud os leia diretamente, não uma exportação desatualizada. Este tutorial conecta um desses sistemas, carrega seus dados em uma tabela do projeto, visualiza o resultado e configura a atualização para que a tabela se mantenha atual sozinha.

Você fará quatro coisas: criar uma conexão, carregar dados por meio de uma etapa de fluxo de trabalho, visualizá-los e agendar a atualização. Cada uma corresponde a um dos blocos de construção do PlaidCloud, e o mesmo formato funciona para qualquer sistema que você conecte.

Uma tabela do projeto que se preenche sozinha a partir de uma fonte externa e a relê em um agendamento — sem recarregar manualmente.

fonte externaBD · SaaS · nuvemConexãoTools > Connectionsetapa de importaçãoem um fluxo de trabalhotabela do projetovisualizar · publicaro agendamento executa o fluxo de trabalho novamente
A conexão guarda as credenciais uma única vez; a etapa de importação lê por meio dela para uma tabela; um agendamento mantém essa tabela atual.
  • Um espaço de trabalho do PlaidCloud (inicie um teste gratuito se você não tiver um)
  • Um projeto para trabalhar e um fluxo de trabalho dentro dele (crie um na guia Fluxos de trabalho — veja Crie um fluxo de trabalho)
  • Credenciais da fonte à qual você está se conectando — um host de banco de dados e login, um token de API, uma chave de armazenamento em nuvem, o que esse sistema usar

O PlaidCloud alcança cada tipo de sistema externo por meio de um conector criado para esse fim, que conhece a autenticação e o protocolo daquele provedor. Encontre o seu na referência de conectores — as categorias são:

Categoria Exemplos
Bancos de dados e data lakes PostgreSQL, SQL Server, Snowflake, BigQuery, Databricks, Redshift, Iceberg, Delta Lake
REST / SaaS Salesforce, NetSuite, Workday, QuickBooks, Stripe
Sistemas ERP SAP ECC, S/4HANA, Oracle EBS/Fusion, Infor
Nuvem, Google, colaboração Serviços em nuvem, Google Sheets/BigQuery, Slack, Microsoft Teams
Origens Singer Mais de 130 origens baseadas em taps — Stripe, GitHub, HubSpot e outras
Provedores Git GitHub, GitLab, Bitbucket, além do PlaidCloud Git gerenciado

Não há um conector dedicado? Use o genérico. Para um serviço sem entrada própria, a Conexão REST genérica alcança qualquer API HTTP. Observe que os nomes exatos dos campos de que cada conector precisa estão em sua página de referência.

Este tutorial usa uma Origem Singer como exemplo concreto, porque ela carrega dados de ponta a ponta com o menor número de partes móveis. Um conector de banco de dados ou de armazenamento em nuvem segue os mesmos três movimentos — conexão, etapa de importação, tabela de destino — com campos específicos desse sistema.

Uma conexão é uma configuração salva que guarda o endpoint e as credenciais uma única vez, para que toda etapa de fluxo de trabalho a reutilize pelo nome.

  1. Abra Tools > Connections.
  2. Clique em Nova conexão na barra de ferramentas e escolha seu sistema no menu.
  3. Preencha o formulário da conexão. As guias variam conforme o tipo, mas você normalmente definirá:
    • Configuração da conexão (ou Detalhes da conexão para REST) — o Nome da conexão, um Memorando opcional, o host/porta/banco de dados (ou host/tipo de autenticação), o botão Uso definido como Ativo e o Modelo de segurança.
    • Credenciais — em um grupo Credenciais de autenticação em uma conexão de banco de dados, ou em uma guia Autenticação dedicada em uma conexão REST.
    • Configuração de SSL / Configuração de SSH — habilite a criptografia ou crie um túnel por um bastion host se sua fonte exigir.
  4. Clique em Criar. A conexão aparece na lista, com você como proprietário.

O Modelo de segurança decide quem mais pode usá-la — de Privado (somente proprietários) a Todos os membros do espaço de trabalho. Veja Criação e gerenciamento de uma conexão para o passo a passo completo, campo por campo, e como conceder acesso.

Os segredos são somente de gravação. Os campos de senha e token aparecem em branco quando você reabre uma conexão salva; deixar um em branco ao salvar mantém o valor armazenado. Digite novamente somente quando for alterá-lo.

Uma conexão, vários ambientes. Uma única conexão pode guardar uma configuração diferente por ambiente — um host de desenvolvimento e um host de produção sob um mesmo nome —, escolhida no seletor de ambiente na barra de ferramentas. Configure isso agora se você for promover o mesmo fluxo de trabalho entre ambientes mais tarde.

Confirme que o PlaidCloud realmente consegue alcançar a fonte antes de construir sobre ela.

  • Salve a conexão primeiro — os testes são executados na configuração armazenada, não em edições não salvas.
  • Uma conexão de banco de dados com SSH oferece um teste de túnel em sua guia Configuração de SSH.
  • A conexão REST genérica tem uma guia Teste que dispara uma solicitação ad hoc pela conexão salva.

Se o teste falhar, as causas usuais são um host ou porta incorretos, um firewall que não permite a saída do PlaidCloud ou uma credencial que precisa ser digitada novamente (lembre-se de que os segredos são lidos de volta em branco).

Os dados entram em um projeto por meio de uma etapa de importação do fluxo de trabalho que referencia sua conexão e grava em uma tabela de destino. Visões não podem ser destinos de importação — uma tabela guarda as linhas físicas.

Usando uma Origem Singer como exemplo prático:

  1. Clique duas vezes no seu fluxo de trabalho para abri-lo no Workflow Explorer.
  2. Adicione uma etapa e escolha Importar: Origem Singer. O editor abre com uma guia Origem e uma guia Streams.
  3. Na guia Origem, escolha sua Conexão, selecione um Modo de sincronização (abordado na Etapa 6) e clique em Descobrir streams. A descoberta é executada no mecanismo de execução em segundo plano e pode levar cerca de três minutos na primeira vez.
  4. Na guia Streams, abra o stream desejado, marque Importar este stream e defina sua Tabela de destino — a tabela em que as linhas serão carregadas.
  5. Salve a etapa e execute-a. As linhas são carregadas na tabela de destino.

A etapa armazena uma referência à conexão, não uma cópia das credenciais dela. Cada execução lê as credenciais atuais da conexão no momento da execução — assim, quando você troca um token, atualiza-o uma única vez na conexão e todas as etapas o assumem na próxima execução.

Para um conector de banco de dados ou de armazenamento em nuvem, a etapa de importação é diferente, mas o formato é idêntico: aponte-a para a conexão, nomeie uma tabela de destino e execute. A referência de conectores lista a etapa específica que cada conector usa, e o guia de fluxos de trabalho aborda como criar e executar etapas.

Em qualquer lugar em que o PlaidCloud mostre uma tabela ou visão, clicar nela abre o Explorador de tabelas — portanto, verificar a importação está a um clique da guia Tabelas.

  • A visualização Grade mostra as linhas (limite padrão de 5.000). O seletor Início / Aleatório controla quais linhas a preenchem — mude para Aleatório para verificar por amostragem a qualidade em uma tabela grande, em vez de apenas as primeiras linhas.
  • A visualização Detalhes resume cada coluna: contagens de valores exclusivos e estatísticas do tipo mín./máx./média/soma para colunas numéricas.
  • Se uma coluna foi carregada com o tipo errado, isso é corrigido com os mapeadores de colunas nas etapas do seu fluxo de trabalho, não aqui.

Verifique se a contagem de linhas e alguns valores de amostra correspondem ao que você espera da fonte. Se corresponderem, a conexão e a importação estão funcionando.

Uma importação única é um instantâneo. Para manter a tabela atual, escolha como cada execução reconcilia os dados novos e depois agende as execuções.

Como cada execução reconcilia — definido na etapa de importação. Para uma Origem Singer, os modos de sincronização são:

Modo de sincronização O que cada execução faz Use quando
Tabela completa (substitui a cada execução) Extrai tudo novamente e substitui o destino Fontes pequenas ou totalmente atualizadas
Incremental (acrescenta dados novos) Extrai somente as linhas novas desde a última execução e as acrescenta Fontes com uma chave de replicação (uma data de atualização ou um ID incremental)
Upsert (mescla pela chave) Extrai o stream novamente e mescla pelas colunas-chave — atualiza as correspondências, insere chaves novas e mantém o restante Fontes cujos registros existentes mudam e você quer uma linha por chave

Outros conectores expõem seus próprios equivalentes; o princípio — substituir, acrescentar ou mesclar — é o mesmo.

Quando as execuções acontecem — agende o fluxo de trabalho para que ele seja executado novamente sozinho. Configure uma execução recorrente em Eventos agendados; a partir de então, a tabela é atualizada nessa cadência sem nenhuma etapa manual. Você também pode executar o fluxo de trabalho manualmente a qualquer momento em que quiser uma atualização imediata.

Escolha colunas-chave que estejam sempre presentes (Upsert). O Upsert compara as linhas pelo valor exato da chave, e uma chave nula nunca corresponde — as linhas com chave nula são inseridas a cada execução e se acumulam. Use uma coluna que a fonte sempre preencha.

Se painéis, o PlaidXL ou ferramentas de BI externas forem consumir essa tabela, dê a ela um nome de relatório publicado para que se destaque das tabelas intermediárias. Clique com o botão direito na tabela na guia Tabelas e escolha Set Published Table Reporting Name — veja Publicação de tabelas. Somente os nomes publicados chegam às ferramentas downstream.