Export to CSV 단계

설명

PlaidCloud 프로젝트 테이블을 CSV(쉼표로 구분된 값) 파일로 문서 계정에 기록합니다. 가장 일반적인 내보내기 형식으로, 거의 모든 하위 시스템, 스프레드시트 도구, BI 플랫폼에서 지원합니다.

구분 기호(쉼표, 탭, 파이프, 사용자 지정), 따옴표 처리 방식, 머리글 행, 인코딩을 구성할 수 있습니다.

내보내기 매개변수

내보내기 파일 선택기

이 변환의 파일 선택기를 사용하면 내보낸 결과를 저장할 PlaidCloud 문서 대상 위치를 선택할 수 있습니다.

디렉터리를 선택하고 대상 파일의 파일 이름을 지정합니다.

소스 테이블

동적 옵션

동적 옵션을 사용하면 변수를 포함한 텍스트로 테이블을 지정할 수 있습니다. 지정한 변수에 따라 테이블 및 뷰 참조가 달라지는 변수 기반 워크플로를 사용할 때 유용합니다.

current_month 변수를 사용하여 소스 테이블을 동적으로 가리키는 예는 다음과 같습니다.

legal_entity/inputs/{current_month}/ledger_values

정적 옵션

내보내기의 소스로 특정 테이블을 사용하려면 동적 체크박스를 선택하지 않은 상태로 두고 소스 테이블을 선택합니다.

테이블 탐색기는 모든 테이블 선택에서 항상 사용할 수 있습니다. 테이블 선택 오른쪽의 테이블 탐색기 버튼을 클릭하면 테이블 탐색기 창이 열립니다.

문서 계정 선택

액세스 권한이 있는 PlaidCloud 문서 계정을 선택합니다. 그러면 다음 선택 항목에서 디렉터리를 선택할 수 있습니다.

프로젝트 안에서는 목록 맨 위에 Project Default도 표시됩니다. 프로젝트에 현재 기본값으로 설정된 계정을 대신하는 항목입니다. 프로젝트에 기본 계정이 있으면 새 단계에는 Project Default가 미리 선택됩니다. 기존 단계는 변경하기 전까지 이전에 저장된 계정을 유지합니다. Project Default로 둔 단계는 실행 시점에 프로젝트의 기본 계정을 대상으로 실행되며, 기본 계정이 설정되어 있지 않으면 다른 계정으로 대체하지 않고 프로젝트 이름을 알려 주며 실행이 실패합니다.

대상 디렉터리 경로

대상 디렉터리 경로 오른쪽의 찾아보기 아이콘을 선택하고 파일을 저장할 위치로 이동합니다.

대상 파일 이름

내보낸 파일을 저장할 이름을 지정합니다.

파일 압축 선택

내보낸 모든 파일은 압축되지 않지만 다음 압축 옵션을 사용할 수 있습니다.

• 압축 안 함
• Zip
• GZip
• BZip2

데이터 형식

구분 기호

CSV 내보내기 변환은 데이터 테이블을 PlaidCloud 문서에 저장되는 구분된 텍스트 파일로 내보내는 데 사용됩니다. 지원하는 구분 기호 유형에는 다음이 포함되며 이에 국한되지 않습니다.

• Excel CSV(쉼표로 구분)

• Excel TSV(탭으로 구분)

• 사용자 정의 구분 기호 –>

  • 쉼표(,)
  • 파이프(|)
  • 세미콜론(;)
  • 탭
  • 공백( )
  • 기타/사용자 지정(물결표, 대시 등)

사용자 지정 구분 기호를 지정하려면 사용자 정의 구분 기호 –> 옵션을 선택한 다음 기타 –> 옵션을 선택하고 텍스트 상자에 사용자 지정 구분 기호를 입력합니다.

특수 문자

특수 문자 섹션에서는 따옴표와 이스케이프 문자가 포함된 데이터를 처리하는 방법을 지정할 수 있습니다. 다음 설정 중에서 선택합니다.

• 특수 문자(QUOTE_MINIMAL): 특수 문자가 있는 필드(같은 방언과 옵션으로 구성된 파서를 혼동시킬 수 있는 모든 것)를 따옴표로 묶습니다. 기본 설정입니다.
• 모두(QUOTE_ALL): 형식에 관계없이 모든 것을 따옴표로 묶습니다.
• 숫자 아님(QUOTE_NONNUMERIC): 정수나 부동 소수점이 아닌 모든 필드를 따옴표로 묶습니다. 리더와 함께 사용하면 따옴표로 묶이지 않은 입력 필드는 부동 소수점으로 변환됩니다.
• 없음(QUOTE_NONE): 출력에서 아무것도 따옴표로 묶지 않습니다. 따옴표 문자는 사용자가 지정한 이스케이프 문자와 함께 출력에 포함됩니다. 이스케이프 문자는 하나만 지정할 수 있습니다.

기본적으로 따옴표로 묶인 필드 안의 따옴표는 두 번 겹쳐("") 기록됩니다. 대신 Spark처럼 이스케이프 문자로 기록하려면 escape_quotes를 켭니다. 이스케이프 문자가 \이면 필드 say "hi"는 "say \"hi\""로 기록됩니다. 이 설정은 기본적으로 꺼져 있으므로 기존 내보내기는 바뀌지 않습니다.

따옴표 문자를 포함한 값은 기본적으로 그 이유만으로 따옴표로 묶입니다. 이런 값을 Spark에서 escapeQuotes를 끈 경우처럼 둘러싸는 따옴표 없이 기록하려면 따옴표 문자를 포함한 값을 따옴표로 묶기를 해제합니다. 구분 기호나 줄 바꿈을 포함한 값은 여전히 따옴표로 묶입니다. 이 확인란은 기본적으로 선택되어 있습니다. 해제하면 파일은 웨어하우스가 아니라 PlaidCloud가 기록합니다.

모든 값을 있는 그대로 기록하려면 따옴표 문자를 비워 두십시오. 아무것도 따옴표로 묶이지 않고 이스케이프되지 않습니다. 이 경우 구분 기호나 줄 바꿈을 포함한 값은 읽을 때 여러 필드로 나뉘므로, 데이터에 포함되지 않은 구분 기호를 선택하십시오.

첫 번째 행에 머리글 쓰기

이 확인란을 선택하면 테이블 머리글이 첫 번째 행으로 내보내집니다. 선택하지 않으면 내보낸 파일에 머리글이 없습니다.

머리글에 데이터 형식 포함

이 확인란을 선택하면 내보낸 파일의 머리글에 열의 데이터 형식이 포함됩니다.

Windows 줄 끝

마지막으로 Windows 호환 줄 끝 사용 확인란은 Windows 시스템과의 호환성을 위해 기본적으로 선택되어 있습니다. UNIX 전용 환경에서 작업하는 경우가 아니라면 이 설정을 켜 두는 것이 좋습니다.

파일이 있는 경우

추가 CSV 옵션에서 이미 있는 파일(if_exists)은 파일이 이미 있을 때의 동작을 결정합니다. replace(기본값)는 새 파일을 기록하고, append는 머리글 행 없이 기존 파일의 끝에 행을 추가하며, fail은 아무것도 기록하지 않고 단계를 중지합니다. 추가는 파일을 내려받아 행을 추가한 다음 다시 업로드하므로, 두 실행이 동시에 같은 파일에 추가하면 마지막에 끝나는 실행이 이깁니다. append에서는 기존 행 아래에 머리글을 다시 기록(header_on_append)을 선택하여 이미 있는 행 아래에 머리글 행을 다시 기록할 수 있습니다.

추가 설정

추가 CSV 옵션에는 다음 필드도 있습니다.

• 행 정렬 기준(sort_columns) — 기록되는 행을 이 소스 열로 정렬하며 첫 번째 키부터 적용하고, 각 키마다 열, 오름차순, NULL 값 설정이 있습니다. 키 열을 반드시 기록할 필요는 없습니다. NULL 값의 기본값은 오름차순에서는 먼저, 내림차순에서는 나중입니다. 요약 또는 고유와 함께 사용하지 않습니다.
• 줄 끝(line_ending) — 모든 줄의 줄 끝으로 \n, \r\n 또는 \r이며 Windows 호환 줄 끝 사용을 대체합니다.
• 따옴표로 묶기(quote_mode) — 따옴표로 묶을 값으로 안 함, 항상, 숫자와 부울을 제외한 모든 값 또는 구분 기호가 포함된 값입니다. 기본적으로 값은 필요할 때 따옴표로 묶입니다.
• 닫는 따옴표(quote_end) — 여는 따옴표와 다를 때의 닫는 따옴표입니다.
• 값 안의 닫는 따옴표(quote_replacement) — 따옴표로 묶인 값 안의 닫는 따옴표 대신 기록됩니다. 비워 두면 따옴표를 두 번 겹쳐 기록합니다.
• 값 안의 구분 기호(delimiter_replacement) — 따옴표로 묶기를 안 함으로 설정한 경우 값 안의 구분 기호 대신 기록됩니다.
• 파일 앞에 바이트 순서 표시 추가(write_bom) — 파일을 바이트 순서 표시로 시작합니다.
• 소수 구분 기호(decimal_separator) — 숫자의 소수점으로 기록되는 문자입니다.
• 머리글 앞 줄(comment_lines) — 머리글 앞에 그대로 기록되는 줄의 JSON 배열입니다.
• Java 방식으로 소수 기록(scientific_numbers) — 1천만 이상 0.001 미만의 소수를 1.0E10과 같은 과학적 표기법으로 기록합니다.
• .csv나 .tsv를 붙이지 않고 지정한 대로 각 파일 이름 기록(keep_file_extension) — 각 파일 이름을 지정한 그대로 기록합니다.
• gzip을 사용할 때 .gz를 붙이지 않고 지정한 이름으로 파일 저장(exact_file_name) — gzip 압축을 사용할 때 파일을 지정한 이름 그대로 저장합니다.

테이블 데이터 선택

데이터 매퍼 구성

데이터 매퍼는 소스 데이터의 열을 대상 데이터 테이블에 매핑하는 데 사용합니다.

매퍼 검사 및 채우기

소스 검사 메뉴 버튼을 사용하면 소스에서 대상으로 열을 매핑하는 다양한 방법을 이용할 수 있습니다.

• 두 매핑 테이블 모두 채우기: 소스 데이터 테이블의 모든 값을 대상 데이터 테이블로 전파합니다. 기본적으로 이 방식이 적용됩니다.
• 소스 매핑 테이블만 채우기: 소스 데이터 테이블의 모든 값만 매핑합니다. 소스 열 구조가 변경된 상태에서 기존 워크플로를 수정할 때 유용합니다.
• 대상 매핑 테이블만 채우기: 모든 값을 대상 데이터 테이블에만 전파합니다.

소스 및 대상 열 옵션만으로 충분하지 않다면 다음과 같은 여러 방법으로 대상 데이터 테이블에 다른 열을 추가할 수 있습니다.

• 모두 전파는 이미 존재하는지 여부와 관계없이 모든 소스 열을 대상 데이터 테이블에 삽입합니다.
• 선택 항목 전파는 선택한 소스 열만 삽입합니다.
• 대상 쪽에서 마우스 오른쪽 버튼을 클릭하고 행 삽입을 선택하면 현재 선택한 행 바로 위에 행이 삽입됩니다.
• 대상 쪽에서 마우스 오른쪽 버튼을 클릭하고 행 추가를 선택하면 대상 데이터 테이블의 맨 아래(맨 오른쪽)에 행이 삽입됩니다.

위험

모두 전파를 선택하면 대상 목록에 이미 존재하는 열이 중복됩니다

열 삭제

대상 데이터 테이블에서 열을 삭제하려면 원하는 열을 선택한 다음 마우스 오른쪽 버튼을 클릭하고 삭제를 선택합니다.

더 이상 목록에 없는 소스 열

대상 행이 소스 데이터 테이블에 더 이상 나열되지 않는 소스 열을 지정하는 경우가 있습니다. 예를 들어 소스를 다시 검사한 후에 이런 일이 생길 수 있습니다. 단계는 이러한 행을 자동으로 제거하지 않습니다. 대신 열 이름이 ⚠ 경고 표시 뒤에 빨간색으로 표시되며, 마우스를 올리면 해당 열이 소스 열에 없다는 메시지가 나타납니다. 유니온처럼 여러 테이블을 사용하는 단계에서는 각 테이블을 해당 테이블의 소스 열과 비교하여 검사합니다.

상수, 식 또는 개수(null 포함) 요약이 지정된 행은 단계가 해당 소스 열을 읽지 않으므로 표시되지 않습니다. 소스 데이터 테이블에 열이 하나도 나열되지 않은 경우(예: 소스를 처음 검사하기 전)에도 아무것도 표시되지 않습니다.

표시된 행이 남아 있는 단계를 저장하면 오래된 열 발견 대화 상자가 해당 행을 각 행이 속한 탭 또는 테이블별로 나열하고 세 가지 선택지를 제공합니다.

• 모두 제거 후 저장 — 표시된 행을 제거한 다음 저장합니다.
• 그대로 저장 — 단계를 현재 상태 그대로 저장합니다.
• 취소 — 저장하지 않고 단계로 돌아갑니다.

행을 유지하면서 경고를 없애려면 해당 열을 소스 데이터 테이블에 다시 추가하거나 소스 데이터 테이블에 나열된 열을 선택하십시오.

열 데이터 유형

모든 대상 열에는 유형이 있습니다. 소스에서 전파된 열은 소스 열의 유형을 그대로 유지하고, 직접 추가한 행은 텍스트로 시작하므로 유형을 설정하여 실제로 필요한 유형을 지정해야 합니다. 합산하거나 정렬하려는 열에는 숫자 또는 날짜 유형이 필요합니다. 텍스트는 텍스트로 정렬되고 합산되기 때문입니다.

유형이 전혀 없는 열이 포함된 상태로 저장된 단계도 실행됩니다. 유형은 단계가 시작될 때 해당 열이 읽는 소스 열로부터 결정됩니다. 유형을 읽어 올 곳이 없으면 텍스트로 처리됩니다. SQL 추출 단계의 열은 매핑된 소스가 아니라 사용자가 작성한 쿼리에서 가져오며, 같은 열 이름이 서로 다른 유형으로 여러 소스에 있는 경우에는 그중 하나를 추측하지 않고 텍스트를 사용합니다. 잘못 추측하면 웨어하우스가 거부할 수 있는 변환이 발생하지만, 모든 값은 텍스트로 변환할 수 있기 때문입니다.

주의

다중 테이블 조인은 의도적으로 예외입니다. 이 단계는 실행을 거부하고 해당 열의 이름을 알려 주며, 여러 테이블을 조인하는 단계에서는 추측보다 이 방식이 더 유용합니다. 해당 열의 유형을 설정하고 다시 저장하십시오.

열이 어떤 유형이어야 하는지 지정하는 올바른 방법은 여전히 유형을 직접 설정하는 것입니다. 설정하지 않은 채 두면 소스 열이 어떤 유형이든 그대로 받아들이게 됩니다.

열 순서 변경

대상 데이터 테이블에서 열을 재정렬하려면 원하는 열을 선택합니다. 다음 두 가지 방법 중 하나를 사용할 수 있습니다.

• 일괄 이동 화살표: 오른쪽 위의 화살표에서 원하는 이동 옵션을 선택합니다.
• 컨텍스트 메뉴: 마우스 오른쪽 버튼을 클릭하고 맨 위로 이동, 위로 이동, 아래로 이동 또는 맨 아래로 이동을 선택합니다.

결과를 고유 레코드로만 줄이기

고유한 항목만 반환하려면 고유 메뉴 옵션을 선택합니다. 그러면 소스의 각 열마다 체크박스 집합이 표시됩니다. 고유한 결과만 반환하려면 해당 열 옆의 상자를 선택하기만 하면 됩니다.

상황에 따라서는 요약을 대신 사용하는 것이 좋을 수 있습니다.

고유 처리는 처음 발견된 고유 레코드를 유지하고 나머지는 버립니다. 실행 간 일관성이 중요하다면 데이터에 정렬을 적용하는 것이 좋습니다.

위험

고유성을 판단하는 데 모든 열을 선택하면 고유 처리가 적용되지 않은 것처럼 보일 수 있습니다. 데이터의 고유성을 정의한다고 판단되는 열만 선택하십시오.

집계 및 그룹화

결과를 집계하려면 요약 메뉴 옵션을 선택합니다. 그러면 대상 데이터 테이블의 각 열마다 선택 상자가 표시됩니다. 각 열에 적절한 요약 방법을 선택합니다.

소스 검사로 열을 채울 때, 숫자 열은 이름이 id, customer_id, Order No, CustomerKey처럼 식별자로 읽히거나, 테이블에서 키로 설정되어 있거나, 조인에서 키로 사용되는 경우 합계 대신 그룹화 기준으로 시작합니다.

• 그룹화 기준
• 합계
• 최소
• 최대
• 처음
• 마지막
• 개수
• 개수(null 포함)
• 평균
• 표준 편차
• 표본 표준 편차
• 모집단 표준 편차
• 분산
• 표본 분산
• 모집단 분산
• 고급 Non-Group_By

참고

집계를 사용할 때는 모든 열에 요약 유형을 반드시 지정해야 합니다

식, 정리, 상수 등 데이터 매퍼의 고급 사용법은 고급 데이터 매퍼 사용법을 참조하십시오.

데이터 필터

최대한의 유연성을 위해 데이터 필터는 소스 데이터와 대상 데이터 모두에서 사용할 수 있습니다. 대용량 데이터 세트에서는 소스에서 행을 먼저 걸러내어 나머지 작업을 더 작은 데이터 세트에서 수행하는 것이 특히 유용할 수 있습니다.

데이터 하위 집합 선택

이 필터 유형은 지정한 조건에 따라 들어오는 소스 데이터를 필터링합니다.

결과 데이터에 보조 필터 적용

이 필터 유형은 지정한 조건에 따라 변환된 후의 결과 데이터에 필터를 적용합니다. 변환 후 결과에 필터를 적용할 수 있으므로 복잡한 계산, 요약 또는 윈도우 함수의 결과를 기준으로 제외할 수 있습니다.

최종 데이터 테이블 분할(제한)

행 분할 기능을 사용하면 범위와 시작 지점에 따라 결과 집합의 행 수를 제한할 수 있습니다.

참고

일관성을 위해 분할되는 결과에는 정렬을 지정해야 합니다

필터 구문

필터 구문은 다른 식과 동일한 구문인 Python SQLAlchemy를 사용합니다.

예제와 식 함수는 식 영역에서 확인하십시오.

예제

아직 예제가 없습니다…