외부 데이터베이스 테이블 가져오기
외부 데이터베이스(데이터베이스 커넥터로 구성)의 테이블을 하나 이상 프로젝트 테이블로 가져옵니다. 델타 로드(마지막 가져오기 이후 변경된 행만 가져오기)와 테이블 이름 재매핑(소스 테이블을 PlaidCloud에서 다른 이름으로 저장하기)을 지원합니다.
매번 모든 행을 다시 가져오지 않고, 일정에 따라 PlaidCloud 테이블을 운영 소스 시스템과 동기화된 상태로 유지할 때 사용합니다.
아직 예제가 없습니다…
고유 구성 항목
섹션 제목: “고유 구성 항목”없음
공통 구성 항목
섹션 제목: “공통 구성 항목”ASCII가 아닌 문자 제거 옵션
이 옵션을 선택하면 가져오기 시 ASCII가 아닌 모든 내용을 제거합니다. PlaidCloud는 유니코드(UTF-8)를 완전히 지원하지만, 실제 파일에는 처리를 어렵게 만드는 다양한 인코딩과 불필요한 문자가 포함되어 있을 수 있습니다.
파일의 내용이 ASCII만 포함할 것으로 예상된다면 이 상자를 선택하여 가져오기 프로세스가 원활하게 실행되도록 할 수 있습니다.
가져오기 후 파일 삭제 옵션
이 옵션을 사용하면 가져오기가 성공적으로 완료된 후 가져오기 프로세스가 PlaidCloud 문서 계정에서 해당 파일을 삭제합니다.
가져오기 파일이 기록 시스템에서 다시 생성될 수 있거나 원시 입력 파일을 보관할 이유가 없는 경우, 파일을 처리한 후에 삭제하면 유용할 수 있습니다.
가져온 파일만 삭제됩니다. 가져오기 중에 건너뛰었거나 경고가 발생한 파일은 폴더에 그대로 남습니다.
파일 가져오기 선택기
이 변환의 파일 선택기를 사용하면 PlaidCloud 문서 위치에 저장된 파일을 가져오기 대상으로 선택할 수 있습니다.
디렉터리를 선택할 수도 있으며, 이 경우 변환을 실행할 때 해당 디렉터리 안의 모든 파일을 가져옵니다.
문서 계정 선택
액세스 권한이 있는 PlaidCloud 문서 계정을 선택합니다. 선택한 계정을 기준으로 다음 선택 항목에서 디렉터리나 파일을 고를 수 있습니다.
프로젝트 안에서는 목록 맨 위에 Project Default도 표시됩니다. 이 항목은 프로젝트에 현재 기본값으로 설정된 계정을 대신합니다. 새 단계는 프로젝트에 기본 계정이 있으면 Project Default를 미리 선택하며, 기존 단계는 사용자가 변경하기 전까지 이전에 저장된 계정을 그대로 유지합니다. Project Default로 남겨 둔 단계는 실행 시점에 프로젝트의 기본 계정을 대상으로 실행됩니다. 기본 계정이 설정되어 있지 않으면 다른 계정으로 대체하지 않고 프로젝트 이름을 알려 주며 실행에 실패합니다.
검색 옵션
검색 옵션을 사용하면 지정한 디렉터리 경로 아래에서 조건에 맞는 모든 파일을 찾아 가져올 수 있습니다. 가져올 파일이 여러 개인데 중첩된 디렉터리에 저장되어 있거나, 가져오지 않으려는 다른 파일과 같은 디렉터리에 섞여 있을 때 특히 유용합니다.
선택한 검색 경로는 검색을 시작할 디렉터리입니다. 검색 과정에서는 해당 디렉터리의 모든 파일과 하위 디렉터리에서 지정한 검색 조건에 맞는 파일을 찾습니다. 검색 조건이 하위 디렉터리의 파일에도 적용될 수 있는지 확인하십시오.
검색에는 다음 조건을 사용할 수 있습니다.
- 정확히 일치: 검색 텍스트와 정확히 일치하는 파일
- 시작 문자열: 검색 텍스트로 시작하는 모든 파일
- 포함: 검색 텍스트를 포함하는 모든 파일
- 끝 문자열: 검색 텍스트로 끝나는 모든 파일
AI 어시스턴트나 REST API에서는 검색을 glob(CO Store*.yxdb와 같은 와일드카드 패턴으로, 대소문자를 구분하지 않고 전체 파일 이름과 비교합니다) 또는 regex(전체 파일 이름이 일치해야 하는 정규식)로 설정할 수도 있습니다. 정규식은 (?i)로 시작하지 않으면 대소문자를 구분합니다.
파일 또는 디렉터리 선택 옵션
특정 파일이나 디렉터리의 파일들을 가져와야 할 때는 검색보다 파일 또는 디렉터리를 직접 선택하는 방법이 더 좋습니다.
파일이나 디렉터리를 선택하려면 찾아보기 버튼을 사용하여 위에서 선택한 문서 계정의 경로를 고르면 됩니다.
변수 치환
검색 옵션과 특정 파일/디렉터리 옵션 모두에서 경로, 검색 텍스트, 파일 이름에 변수를 사용할 수 있습니다.
current_month 변수를 사용해 올바른 파일을 동적으로 가리키는 예는 다음과 같습니다.
legal_entity/inputs/{current_month}/ledger_values.csv대상 테이블
뷰에는 기본 데이터가 없으므로 가져오기의 대상은 테이블로만 제한됩니다.
동적 옵션
동적 옵션을 사용하면 변수를 포함한 텍스트로 테이블을 지정할 수 있습니다. 지정한 변수에 따라 테이블 및 뷰 참조가 달라지는 변수 기반 워크플로를 사용할 때 유용합니다.
current_month 변수를 사용하여 대상 테이블을 동적으로 가리키는 예는 다음과 같습니다.
legal_entity/inputs/{current_month}/ledger_values정적 옵션
가져오기의 대상으로 특정 테이블을 사용하려면 동적 체크박스를 선택하지 않은 상태로 두고 대상 테이블을 선택합니다.
대상 테이블이 없으면 새로 만들기 버튼을 선택하여 원하는 위치에 테이블을 만듭니다.
테이블 탐색기는 모든 테이블 선택에서 항상 사용할 수 있습니다. 테이블 선택 오른쪽의 테이블 탐색기 버튼을 클릭하면 테이블 탐색기 창이 열립니다.
데이터 매퍼 구성
데이터 매퍼는 소스 데이터의 열을 대상 데이터 테이블에 매핑하는 데 사용합니다.
매퍼 검사 및 채우기
소스 검사 메뉴 버튼을 사용하면 소스에서 대상으로 열을 매핑하는 다양한 방법을 이용할 수 있습니다.
- 두 매핑 테이블 모두 채우기: 소스 데이터 테이블의 모든 값을 대상 데이터 테이블로 전파합니다. 기본적으로 이 방식이 적용됩니다.
- 소스 매핑 테이블만 채우기: 소스 데이터 테이블의 모든 값만 매핑합니다. 소스 열 구조가 변경된 상태에서 기존 워크플로를 수정할 때 유용합니다.
- 대상 매핑 테이블만 채우기: 모든 값을 대상 데이터 테이블에만 전파합니다.
소스 및 대상 열 옵션만으로 충분하지 않다면 다음과 같은 여러 방법으로 대상 데이터 테이블에 다른 열을 추가할 수 있습니다.
- 모두 전파는 이미 존재하는지 여부와 관계없이 모든 소스 열을 대상 데이터 테이블에 삽입합니다.
- 선택 항목 전파는 선택한 소스 열만 삽입합니다.
- 대상 쪽에서 마우스 오른쪽 버튼을 클릭하고 행 삽입을 선택하면 현재 선택한 행 바로 위에 행이 삽입됩니다.
- 대상 쪽에서 마우스 오른쪽 버튼을 클릭하고 행 추가를 선택하면 대상 데이터 테이블의 맨 아래(맨 오른쪽)에 행이 삽입됩니다.
열 삭제
대상 데이터 테이블에서 열을 삭제하려면 원하는 열을 선택한 다음 마우스 오른쪽 버튼을 클릭하고 삭제를 선택합니다.
더 이상 목록에 없는 소스 열
대상 행이 소스 데이터 테이블에 더 이상 나열되지 않는 소스 열을 지정하는 경우가 있습니다. 예를 들어 소스를 다시 검사한 후에 이런 일이 생길 수 있습니다. 단계는 이러한 행을 자동으로 제거하지 않습니다. 대신 열 이름이 ⚠ 경고 표시 뒤에 빨간색으로 표시되며, 마우스를 올리면 해당 열이 소스 열에 없다는 메시지가 나타납니다. 유니온처럼 여러 테이블을 사용하는 단계에서는 각 테이블을 해당 테이블의 소스 열과 비교하여 검사합니다.
상수, 식 또는 개수(null 포함) 요약이 지정된 행은 단계가 해당 소스 열을 읽지 않으므로 표시되지 않습니다. 소스 데이터 테이블에 열이 하나도 나열되지 않은 경우(예: 소스를 처음 검사하기 전)에도 아무것도 표시되지 않습니다.
표시된 행이 남아 있는 단계를 저장하면 오래된 열 발견 대화 상자가 해당 행을 각 행이 속한 탭 또는 테이블별로 나열하고 세 가지 선택지를 제공합니다.
- 모두 제거 후 저장 — 표시된 행을 제거한 다음 저장합니다.
- 그대로 저장 — 단계를 현재 상태 그대로 저장합니다.
- 취소 — 저장하지 않고 단계로 돌아갑니다.
행을 유지하면서 경고를 없애려면 해당 열을 소스 데이터 테이블에 다시 추가하거나 소스 데이터 테이블에 나열된 열을 선택하십시오.
열 데이터 유형
모든 대상 열에는 유형이 있습니다. 소스에서 전파된 열은 소스 열의 유형을 그대로 유지하고, 직접 추가한 행은 텍스트로 시작하므로 유형을 설정하여 실제로 필요한 유형을 지정해야 합니다. 합산하거나 정렬하려는 열에는 숫자 또는 날짜 유형이 필요합니다. 텍스트는 텍스트로 정렬되고 합산되기 때문입니다.
유형이 전혀 없는 열이 포함된 상태로 저장된 단계도 실행됩니다. 유형은 단계가 시작될 때 해당 열이 읽는 소스 열로부터 결정됩니다. 유형을 읽어 올 곳이 없으면 텍스트로 처리됩니다. SQL 추출 단계의 열은 매핑된 소스가 아니라 사용자가 작성한 쿼리에서 가져오며, 같은 열 이름이 서로 다른 유형으로 여러 소스에 있는 경우에는 그중 하나를 추측하지 않고 텍스트를 사용합니다. 잘못 추측하면 웨어하우스가 거부할 수 있는 변환이 발생하지만, 모든 값은 텍스트로 변환할 수 있기 때문입니다.
열이 어떤 유형이어야 하는지 지정하는 올바른 방법은 여전히 유형을 직접 설정하는 것입니다. 설정하지 않은 채 두면 소스 열이 어떤 유형이든 그대로 받아들이게 됩니다.
열 순서 변경
대상 데이터 테이블에서 열을 재정렬하려면 원하는 열을 선택합니다. 다음 두 가지 방법 중 하나를 사용할 수 있습니다.
- 일괄 이동 화살표: 오른쪽 위의 화살표에서 원하는 이동 옵션을 선택합니다.
- 컨텍스트 메뉴: 마우스 오른쪽 버튼을 클릭하고 맨 위로 이동, 위로 이동, 아래로 이동 또는 맨 아래로 이동을 선택합니다.
결과를 고유 레코드로만 줄이기
고유한 항목만 반환하려면 고유 메뉴 옵션을 선택합니다. 그러면 소스의 각 열마다 체크박스 집합이 표시됩니다. 고유한 결과만 반환하려면 해당 열 옆의 상자를 선택하기만 하면 됩니다.
상황에 따라서는 요약을 대신 사용하는 것이 좋을 수 있습니다.
고유 처리는 처음 발견된 고유 레코드를 유지하고 나머지는 버립니다. 실행 간 일관성이 중요하다면 데이터에 정렬을 적용하는 것이 좋습니다.
집계 및 그룹화
결과를 집계하려면 요약 메뉴 옵션을 선택합니다. 그러면 대상 데이터 테이블의 각 열마다 선택 상자가 표시됩니다. 각 열에 적절한 요약 방법을 선택합니다.
소스 검사로 열을 채울 때, 숫자 열은 이름이 id, customer_id, Order No, CustomerKey처럼 식별자로 읽히거나, 테이블에서 키로 설정되어 있거나, 조인에서 키로 사용되는 경우 합계 대신 그룹화 기준으로 시작합니다.
- 그룹화 기준
- 합계
- 최소
- 최대
- 처음
- 마지막
- 개수
- 개수(null 포함)
- 평균
- 표준 편차
- 표본 표준 편차
- 모집단 표준 편차
- 분산
- 표본 분산
- 모집단 분산
- 고급 Non-Group_By
식, 정리, 상수 등 데이터 매퍼의 고급 사용법은 고급 데이터 매퍼 사용법을 참조하십시오.
최대한의 유연성을 위해 데이터 필터는 소스 데이터와 대상 데이터 모두에서 사용할 수 있습니다. 대용량 데이터 세트에서는 소스에서 행을 먼저 걸러내어 나머지 작업을 더 작은 데이터 세트에서 수행하는 것이 특히 유용할 수 있습니다.
데이터 하위 집합 선택
이 필터 유형은 지정한 조건에 따라 들어오는 소스 데이터를 필터링합니다.
결과 데이터에 보조 필터 적용
이 필터 유형은 지정한 조건에 따라 변환된 후의 결과 데이터에 필터를 적용합니다. 변환 후 결과에 필터를 적용할 수 있으므로 복잡한 계산, 요약 또는 윈도우 함수의 결과를 기준으로 제외할 수 있습니다.
최종 데이터 테이블 분할(제한)
행 분할 기능을 사용하면 범위와 시작 지점에 따라 결과 집합의 행 수를 제한할 수 있습니다.
필터 구문
필터 구문은 다른 식과 동일한 구문인 Python SQLAlchemy를 사용합니다.
예제와 식 함수는 식 영역에서 확인하십시오.