Import Singer Source 단계
Import Singer Source 단계(단계 선택기에는 가져오기: Singer 소스로 표시됨)는 Singer 소스의 스트림을 하나 이상 프로젝트 테이블로 가져옵니다. Singer 소스는 Singer tap을 감싸는 Singer 소스 유형의 연결입니다. tap은 Stripe, GitHub, Slack, BigQuery처럼 특정 SaaS 앱, API 또는 데이터베이스용 커넥터입니다. 이 단계는 tap에서 사용 가능한 스트림을 검색하고, 가져올 스트림과 각 스트림을 저장할 위치를 선택하면 러너가 데이터를 추출하여 대상에 로드합니다.
전체 안내는 Singer 소스 가이드를, 사용 가능한 소스와 구성 문서는 Singer 소스 카탈로그를 참조하십시오.
- 연결 (필수) — Singer 소스 유형의 연결입니다.
- 동기화 모드 (필수) — 전체 테이블(실행마다 바꿈), 증분(새 데이터 추가) 또는 업서트(키 기준 병합) 중에서 선택합니다. 증분은 tap이 증분 동기화할 수 있는 스트림(복제 키가 있는 스트림)에서만 동작하며, 이 단계는 이전 실행의 위치부터 다시 시작합니다. 업서트는 실행할 때마다 스트림의 키 열을 기준으로 대상에 병합합니다.
- 스트림 검색 — 러너에서 tap의 카탈로그 검색을 실행하고 tap이 제공하는 스트림을 나열합니다.
- 스트림 (하나 이상) — 검색된 각 스트림에 대해 포함하려면 이 스트림 가져오기를 선택하고, 저장할 위치로 대상 테이블을 지정합니다. 선택한 모든 스트림에는 대상 테이블이 필요합니다. 동기화 모드가 업서트이면 선택한 각 스트림에 키 열(한 줄에 열 이름 하나)도 필요합니다. 이는 행을 일치시키는 기준 열이며, 기본값은 tap에 선언된 기본 키입니다.
- 검색은 별도의 작업으로 실행되며 콜드 스타트 시 최대 약 3분이 걸릴 수 있습니다. 결과는 캐시되므로 반복 검색은 즉시 완료됩니다.
- 전체 테이블은 실행할 때마다 대상 테이블을 바꿉니다. 증분은 tap의 복제 키를 사용하여 지난 실행 이후 새로 생긴 행만 추가합니다. 업서트는 전체 스트림을 다시 추출하여 각 스트림의 키 열을 기준으로 대상에 병합하며, 일치하는 행은 업데이트하고 새 키는 삽입하며 일치하지 않는 기존 행은 유지합니다. 대상은 첫 실행에서 생성됩니다. 키 열이 null인 행은 절대 일치하지 않고 항상 삽입되므로, 항상 값이 있는 키 열을 선택하십시오.
- 선택한 스트림이 곧 저장된 집합입니다. 선택을 변경하려면 다시 검색하십시오. 다시 나타나는 스트림은 이전에 설정한 대상 테이블과 선택을 유지합니다.
- 소스 자격 증명은 실행 시점에 연결에서 읽으므로, 연결에서 자격 증명을 교체하면 해당 연결을 사용하는 모든 단계에 적용됩니다. 단계별로 업데이트할 필요가 없습니다.