실시간 데이터 소스 연결하기

약 30분 · 연결, 가져온 테이블, 예약된 새로 고침

다른 튜토리얼은 업로드한 CSV에서 시작합니다. 실제 데이터는 대개 데이터베이스, 웨어하우스, SaaS 앱, 클라우드 스토어 등 다른 곳에 있으며, 오래된 내보내기 파일이 아니라 PlaidCloud가 직접 읽기를 원할 것입니다. 이 튜토리얼에서는 그런 시스템 중 하나를 연결하고, 그 데이터를 프로젝트 테이블로 가져오고, 결과를 미리 본 다음, 테이블이 스스로 최신 상태를 유지하도록 새로 고침을 설정합니다.

네 가지를 수행합니다. 연결 만들기, 워크플로 단계로 데이터 가져오기, 미리 보기, 새로 고침 예약입니다. 각각 PlaidCloud의 구성 요소 하나에 대응하며, 무엇에 연결하든 같은 흐름이 적용됩니다.

만들 내용

외부 소스에서 스스로 채워지고 일정에 따라 다시 읽는 프로젝트 테이블이며, 수동으로 다시 업로드할 필요가 없습니다.

연결이 자격 증명을 한 번만 보관하고, 가져오기 단계가 이를 통해 읽어 테이블에 기록하며, 일정이 그 테이블을 최신 상태로 유지합니다.

사전 요구 사항

PlaidCloud 워크스페이스(없다면 무료 체험을 시작하세요)
작업할 프로젝트와 그 안의 워크플로(워크플로 탭에서 만들 수 있습니다. 워크플로 만들기 참조)
연결할 소스의 자격 증명: 데이터베이스 호스트와 로그인, API 토큰, 클라우드 스토리지 키 등 해당 시스템이 사용하는 것

1단계: 커넥터 선택하기

PlaidCloud는 해당 공급자의 인증과 프로토콜을 아는 전용 커넥터를 통해 각 유형의 외부 시스템에 접근합니다. 커넥터 참조에서 해당하는 커넥터를 찾으십시오. 범주는 다음과 같습니다.

범주	예
데이터베이스 및 데이터 레이크	PostgreSQL, SQL Server, Snowflake, BigQuery, Databricks, Redshift, Iceberg, Delta Lake
REST / SaaS	Salesforce, NetSuite, Workday, QuickBooks, Stripe
ERP 시스템	SAP ECC, S/4HANA, Oracle EBS/Fusion, Infor
클라우드, Google, 협업	클라우드 서비스, Google Sheets/BigQuery, Slack, Microsoft Teams
Singer 소스	130개 이상의 탭 기반 소스: Stripe, GitHub, HubSpot 등
Git 공급자	GitHub, GitLab, Bitbucket 및 관리형 PlaidCloud Git

전용 커넥터가 없나요? 범용 커넥터를 사용하십시오. 자체 항목이 없는 서비스에는 범용 REST 연결로 모든 HTTP API에 접근할 수 있습니다. 각 커넥터에 필요한 정확한 필드 이름은 해당 참조 페이지에 있습니다.

이 튜토리얼에서는 움직이는 부분이 가장 적은 상태로 데이터를 처음부터 끝까지 가져올 수 있으므로 Singer 소스를 구체적인 예로 안내합니다. 데이터베이스나 클라우드 스토리지 커넥터도 연결, 가져오기 단계, 대상 테이블이라는 같은 세 단계를 따르며, 해당 시스템에 고유한 필드만 다릅니다.

2단계: 연결 만들기

연결은 엔드포인트와 자격 증명을 한 번만 보관하는 저장된 구성이므로, 모든 워크플로 단계가 이름으로 재사용합니다.

Tools > Connections를 엽니다.
도구 모음에서 새 연결을 클릭하고 메뉴에서 시스템을 선택합니다.
연결 양식을 작성합니다. 탭은 유형에 따라 다르지만, 일반적으로 다음을 설정합니다.
- 연결 구성(REST의 경우 연결 세부 정보): 연결 이름, 선택 사항인 메모, 호스트/포트/데이터베이스(또는 호스트/인증 유형), 활성으로 설정한 사용법 토글, 보안 모델.
- 자격 증명: 데이터베이스 연결에서는 인증 자격 증명 그룹에, REST 연결에서는 전용 인증 탭에 있습니다.
- SSL 구성 / SSH 구성: 소스에서 필요하면 암호화를 사용하거나 배스천 호스트를 통해 터널링합니다.
만들기를 클릭합니다. 연결이 목록에 나타나며 소유자는 사용자입니다.

보안 모델은 다른 누가 이 연결을 사용할 수 있는지를 결정하며, 비공개(소유자만) 부터 모든 작업 영역 멤버까지 있습니다. 필드별 전체 안내와 액세스 권한 부여 방법은 연결 만들기 및 관리를 참조하십시오.

비밀 값은 쓰기 전용입니다. 저장된 연결을 다시 열면 비밀번호와 토큰 필드가 비어 있는 것으로 표시되며, 저장할 때 비워 두면 저장된 값이 유지됩니다. 변경할 때만 다시 입력하십시오.

하나의 연결, 여러 환경. 하나의 연결이 환경마다 다른 구성을 가질 수 있습니다. 한 이름 아래에 개발 호스트와 프로덕션 호스트를 두고, 도구 모음의 환경 선택기에서 고릅니다. 나중에 같은 워크플로를 여러 환경에 걸쳐 승격할 계획이라면 지금 설정하십시오.

3단계: 연결 테스트하기

그 위에 구축하기 전에 PlaidCloud가 실제로 소스에 도달할 수 있는지 확인합니다.

먼저 연결을 저장합니다. 테스트는 저장되지 않은 편집 내용이 아니라 저장된 구성에 대해 실행됩니다.
SSH를 사용하는 데이터베이스 연결은 SSH 구성 탭에서 터널 테스트를 제공합니다.
범용 REST 연결에는 저장된 연결을 통해 임시 요청을 보내는 테스트 탭이 있습니다.

테스트가 실패하면 일반적인 원인은 잘못된 호스트나 포트, PlaidCloud의 송신 트래픽을 허용하지 않는 방화벽, 또는 다시 입력해야 하는 자격 증명입니다(비밀 값은 비어 있는 것으로 다시 읽힌다는 점을 기억하십시오).

4단계: 데이터를 테이블로 가져오기

데이터는 연결을 참조하고 대상 테이블에 기록하는 워크플로 가져오기 단계를 통해 프로젝트로 들어옵니다. 뷰는 가져오기 대상이 될 수 없습니다. 실제 행을 보관하는 것은 테이블입니다.

Singer 소스를 예로 들어 설명합니다.

워크플로를 두 번 클릭하여 Workflow Explorer에서 엽니다.
단계를 추가하고 가져오기: Singer 소스를 선택합니다. 편집기가 소스 탭과 스트림 탭과 함께 열립니다.
소스 탭에서 연결을 선택하고, 동기화 모드를 고른 다음(6단계에서 설명), 스트림 검색을 클릭합니다. 검색은 백그라운드 실행 엔진에서 실행되며 처음에는 최대 3분 정도 걸릴 수 있습니다.
스트림 탭에서 원하는 스트림을 열고 이 스트림 가져오기를 선택한 다음, 행이 저장될 테이블인 대상 테이블을 설정합니다.
단계를 저장하고 실행합니다. 행이 대상 테이블에 저장됩니다.

단계는 자격 증명의 사본이 아니라 연결에 대한 참조를 저장합니다. 실행할 때마다 그 시점의 연결 자격 증명을 읽으므로, 토큰을 교체할 때 연결에서 한 번만 업데이트하면 모든 단계가 다음 실행에서 이를 반영합니다.

데이터베이스나 클라우드 스토리지 커넥터의 경우 가져오기 단계는 다르지만 흐름은 동일합니다. 연결을 지정하고, 대상 테이블 이름을 정하고, 실행합니다. 커넥터 참조에는 각 커넥터가 사용하는 구체적인 단계가 링크되어 있고, 워크플로 가이드에서는 단계를 만들고 실행하는 방법을 다룹니다.

5단계: 가져온 데이터 미리 보기

PlaidCloud에서 테이블이나 뷰가 표시되는 곳 어디서든 클릭하면 테이블 탐색기가 열리므로, 테이블 탭에서 클릭 한 번으로 가져오기를 확인할 수 있습니다.

그리드 보기에는 행이 표시됩니다(기본 제한 5,000). 상위 / 무작위 선택기는 어떤 행으로 채울지 제어합니다. 무작위로 전환하면 처음 몇 행만이 아니라 큰 테이블 전체에서 품질을 표본 점검할 수 있습니다.
세부 정보 보기에서는 각 열을 요약합니다. 고유 값 개수와 숫자 열의 최솟값/최댓값/평균/합계 같은 통계를 보여 줍니다.
열이 잘못된 유형으로 가져와졌다면 여기서가 아니라 워크플로 단계의 열 매퍼로 수정합니다.

행 개수와 몇 가지 샘플 값이 소스에서 기대하는 값과 일치하는지 확인하십시오. 일치한다면 연결과 가져오기가 제대로 작동하는 것입니다.

6단계: 새로 고침 설정하기

일회성 가져오기는 스냅샷입니다. 테이블을 최신 상태로 유지하려면 각 실행이 새 데이터를 어떻게 조정할지 선택한 다음 실행을 예약합니다.

각 실행이 조정하는 방법은 가져오기 단계에서 설정합니다. Singer 소스의 동기화 모드는 다음과 같습니다.

동기화 모드	각 실행의 동작	사용 시기
전체 테이블(실행마다 교체)	모든 것을 다시 추출하여 대상을 교체합니다	크기가 작거나 전체를 새로 고치는 소스
증분(새 데이터 추가)	마지막 실행 이후의 새 행만 추출하여 추가합니다	복제 키(업데이트 시각 또는 증가하는 ID)가 있는 소스
업서트(키 기준 병합)	스트림을 다시 추출하여 키 열을 기준으로 병합합니다. 일치하는 행은 업데이트하고, 새 키는 삽입하고, 나머지는 유지합니다	기존 레코드가 변경되며 키당 한 행이 필요한 소스

다른 커넥터도 각자 이에 해당하는 옵션을 제공하며, 교체, 추가, 병합이라는 원리는 같습니다.

실행되는 시점은 워크플로를 예약하여 스스로 다시 실행되게 합니다. 예약된 이벤트에서 반복 실행을 설정하면, 이후 테이블은 수동 작업 없이 해당 주기로 새로 고쳐집니다. 즉시 새로 고치고 싶을 때는 언제든 워크플로를 직접 실행할 수도 있습니다.

항상 존재하는 키 열을 선택하십시오(업서트). 업서트는 정확한 키 값으로 행을 일치시키며, null 키는 일치하지 않습니다. null 키가 있는 행은 실행할 때마다 삽입되어 누적됩니다. 소스가 항상 채우는 열을 사용하십시오.

선택 사항: 테이블 게시하기

대시보드, PlaidXL 또는 외부 BI 도구가 이 테이블을 사용한다면 게시된 보고 이름을 지정하여 중간 테이블과 구분되게 하십시오. 테이블 탭에서 테이블을 마우스 오른쪽 버튼으로 클릭하고 Set Published Table Reporting Name을 선택합니다. 테이블 게시를 참조하십시오. 게시된 이름만 다운스트림 도구에 전달됩니다.

다음 단계

연결 가이드: 연결 만들기, 테스트, 복제, 액세스 제어
Singer 소스: 이 안내에서 사용한 탭 기반 소스에 대한 전체 설명
커넥터 참조: 지원되는 모든 시스템과 필요한 정확한 필드
테이블 탐색기와 테이블 및 뷰: 가져온 내용 확인 및 이해
예약된 이벤트: 반복 일정에 따라 새로 고침 실행
데이터 로드, 변환 및 게시: 방금 가져온 테이블 정리 및 재구성
배부 모델 만들기: 연결된 데이터를 모델에 활용