Export to CSV

Descrição

Grava uma tabela de projeto do PlaidCloud em uma conta de documentos como um arquivo CSV (valores separados por vírgula). É o formato de exportação mais comum, aceito por praticamente todos os sistemas posteriores, ferramentas de planilha e plataformas de BI.

Configurável: delimitador (vírgula, tabulação, barra vertical, personalizado), comportamento de aspas, linha de cabeçalho e codificação.

Parâmetros de exportação

Seletor de arquivo de exportação

O seletor de arquivo desta transformação permite escolher um destino para armazenar o resultado exportado em um documento do PlaidCloud.

Você escolhe um diretório e especifica um nome de arquivo para o arquivo de destino.

Tabela de origem

Opção dinâmica

A opção dinâmica permite especificar uma tabela por meio de texto, incluindo variáveis. Isso é útil ao usar fluxos de trabalho orientados por variáveis, nos quais as referências a tabelas e visões são relativas às variáveis especificadas.

Um exemplo que usa a variável current_month para apontar dinamicamente para a tabela de origem:

legal_entity/inputs/{current_month}/ledger_values

Opção estática

Quando você quiser uma tabela específica como origem da exportação, deixe a caixa Dinâmico desmarcada e selecione a tabela de origem.

O Explorador de tabelas está sempre disponível em qualquer seleção de tabela. Clique no botão Explorador de tabelas à direita da seleção de tabela e uma janela do Explorador de tabelas será aberta.

Seleção de uma conta de documentos

Escolha uma conta de documentos do PlaidCloud à qual você tenha acesso. Isso permite selecionar um diretório na próxima seleção.

Dentro de um projeto, a lista também oferece Project Default no topo, que representa a conta definida atualmente como padrão do projeto. Uma nova etapa pré-seleciona Project Default quando o projeto tem uma conta padrão; uma etapa existente mantém a conta com a qual foi salva até você alterá-la. Uma etapa deixada em Project Default é executada na conta que for a padrão do projeto no momento da execução; se nenhuma estiver definida, a execução falha e informa o nome do projeto, em vez de recorrer a outra conta.

Caminho do diretório de destino

Selecione o ícone Procurar à direita de Caminho do diretório de destino e navegue até o local onde você quer salvar o arquivo.

Nome do arquivo de destino

Especifique o nome com o qual o arquivo exportado deve ser salvo.

Selecionando a compactação do arquivo

Todos os arquivos exportados são não compactados, mas as seguintes opções de compactação estão disponíveis:

Sem compactação
Zip
GZip
BZip2

Formato dos dados

Formato de dados do Exportar CSV

Delimitador

A transformação Exportar CSV é usada para exportar tabelas de dados para arquivos de texto delimitados salvos no PlaidCloud Document. Isso inclui, entre outros, os seguintes tipos de delimitador:

CSV do Excel (separado por vírgula)
TSV do Excel (separado por tabulação)
Separador definido pelo usuário –>
- vírgula (,)
- barra vertical (|)
- ponto e vírgula (;)
- tabulação
- espaço ( )
- outro/personalizado (til, hífen etc.)

Para especificar um delimitador personalizado, selecione Separador definido pelo usuário –> e depois Outro –>, e digite o delimitador personalizado na caixa de texto.

Caracteres especiais

A seção Caracteres especiais permite especificar como tratar dados com aspas e caracteres de escape. Escolha entre as seguintes configurações:

Caracteres especiais (QUOTE_MINIMAL): coloca entre aspas os campos com caracteres especiais (qualquer coisa que confundiria um analisador configurado com o mesmo dialeto e as mesmas opções). Esta é a configuração padrão.
Todos (QUOTE_ALL): coloca tudo entre aspas, independentemente do tipo.
Não numéricos (QUOTE_NONNUMERIC): coloca entre aspas todos os campos que não são inteiros nem números de ponto flutuante. Quando usado com o leitor, os campos de entrada sem aspas são convertidos em números de ponto flutuante.
Nenhum (QUOTE_NONE): não coloca nada entre aspas na saída. Os caracteres de aspas são incluídos na saída com o caractere de escape fornecido pelo usuário. Observe que apenas um único caractere de escape pode ser fornecido.

Por padrão, uma aspa dentro de um campo entre aspas é gravada em dobro (""). Ative escape_quotes para gravá-la com o caractere de escape, como o Spark faz: com \ como caractere de escape, o campo say "hi" é gravado como "say \"hi\"". A configuração vem desativada por padrão, portanto as exportações existentes não mudam.

Por padrão, um valor que contém o caractere de aspas é colocado entre aspas só por esse motivo. Desmarque Colocar entre aspas os valores que contêm o caractere de aspas para gravar esse valor sem aspas ao redor, como o Spark faz com escapeQuotes desativado; um valor que contém o delimitador ou uma quebra de linha continua entre aspas. A caixa de seleção vem marcada por padrão. Desmarcada, o arquivo é gravado pelo PlaidCloud e não pelo warehouse.

Deixe o Caractere de aspas vazio para gravar cada valor exatamente como está: nada é colocado entre aspas e nada recebe escape. Um valor que contém o delimitador ou uma quebra de linha passa então a ser lido como mais campos, portanto escolha um delimitador que seus dados não contenham.

Escrever o cabeçalho na primeira linha

Se esta caixa de seleção estiver marcada, os cabeçalhos da tabela são exportados na primeira linha. Se não estiver, o arquivo exportado não terá cabeçalhos.

Incluir tipos de dados nos cabeçalhos

Se esta caixa de seleção estiver marcada, os cabeçalhos do arquivo exportado conterão o tipo de dados da coluna.

Fins de linha do Windows

Por fim, a caixa de seleção Usar fins de linha compatíveis com o Windows vem marcada por padrão para garantir a compatibilidade com sistemas Windows. É recomendável deixar esta configuração ativada, a menos que você trabalhe em um ambiente exclusivamente Unix.

Se o arquivo existir

Em Mais opções de CSV, Um arquivo que já existe (if_exists) decide o que acontece quando o arquivo já está lá: replace (padrão) grava um novo arquivo, append adiciona as linhas ao final do arquivo existente sem linha de cabeçalho e fail interrompe a etapa, sem gravar nada. Um append baixa o arquivo, adiciona as linhas e o envia novamente, portanto, quando duas execuções fazem append no mesmo arquivo ao mesmo tempo, vale a última a terminar. Com append, marque Escrever o cabeçalho novamente abaixo das linhas existentes (header_on_append) para gravar a linha de cabeçalho novamente abaixo das linhas já existentes.

Configurações adicionais

Mais opções de CSV também contém estes campos:

Ordenar linhas por (sort_columns) — ordena as linhas gravadas por estas colunas de origem, a primeira chave primeiro, cada uma com uma configuração de Coluna, Crescente e Nulos. Uma coluna de chave não precisa ser gravada. Nulos assume por padrão primeiro em ordem crescente e por último em ordem decrescente. Não é usada com Resumir ou Distintos.
Fim de linha (line_ending) — o fim de linha de todas as linhas, \n, \r\n ou \r, no lugar de Usar fins de linha compatíveis com o Windows.
Colocar entre aspas (quote_mode) — quais valores recebem aspas: Nunca, Sempre, Todos os valores exceto números e booleanos ou Um valor que contém o delimitador. Por padrão, um valor recebe aspas quando necessário.
Aspa de fechamento (quote_end) — a aspa de fechamento, quando difere da aspa de abertura.
Aspa de fechamento dentro de um valor (quote_replacement) — gravada no lugar de uma aspa de fechamento dentro de um valor entre aspas. Se vazia, a aspa é duplicada.
Delimitador dentro de um valor (delimiter_replacement) — com Colocar entre aspas definido como Nunca, gravado no lugar do delimitador dentro de um valor.
Iniciar o arquivo com uma marca de ordem de bytes (write_bom) — inicia o arquivo com uma marca de ordem de bytes.
Separador decimal (decimal_separator) — o caractere gravado para a vírgula decimal de um número.
Linhas antes do cabeçalho (comment_lines) — uma matriz JSON de linhas gravadas como estão antes do cabeçalho.
Gravar números decimais como o Java (scientific_numbers) — grava um número decimal em notação científica a partir de 10 milhões e abaixo de 0,001, como 1.0E10.
Escrever cada nome de arquivo como indicado, sem adicionar .csv ou .tsv (keep_file_extension) — grava cada nome de arquivo exatamente como indicado.
Com gzip, salvar o arquivo com o nome indicado, sem adicionar .gz (exact_file_name) — com compactação gzip, salva o arquivo com o nome indicado.

Seleção de dados da tabela

Configuração do Data Mapper

Data Mapper de tabela

O Data Mapper é usado para mapear as colunas dos dados de origem para a tabela de dados de destino.

Inspeção e Preenchimento do Mapeador

O botão de menu Inspecionar origem oferece formas adicionais de mapear colunas da origem para o destino:

Preencher ambas as tabelas de mapeamento: propaga todos os valores da tabela de dados de origem para a tabela de dados de destino. Este é o comportamento padrão.
Preencher somente a tabela de mapeamento de origem: mapeia apenas todos os valores da tabela de dados de origem. Isso é útil ao modificar um fluxo de trabalho existente quando a estrutura de colunas da origem mudou.
Preencher somente a tabela de mapeamento de destino: propaga todos os valores apenas para a tabela de dados de destino.

Se as opções de coluna de origem e de destino não forem suficientes, é possível adicionar outras colunas à tabela de dados de destino de várias maneiras:

Propagar tudo insere todas as colunas de origem na tabela de dados de destino, quer elas já existam ou não.
Propagar selecionadas insere apenas as colunas de origem selecionadas.
Clique com o botão direito no lado do destino e selecione Inserir linha para inserir uma linha imediatamente acima da linha selecionada.
Clique com o botão direito no lado do destino e selecione Anexar linha para inserir uma linha no final (extrema direita) da tabela de dados de destino.

Exclusão de Colunas

Para excluir colunas da tabela de dados de destino, selecione as colunas desejadas, clique com o botão direito e selecione Excluir.

Colunas de Origem que Não Estão Mais Listadas

Uma linha de destino pode indicar uma Coluna de origem que a tabela de dados de origem não lista mais, por exemplo depois que a origem foi inspecionada novamente. A etapa nunca remove essa linha por você. Em vez disso, o nome da coluna aparece em vermelho, após um sinal de aviso ⚠, e ao passar o mouse sobre ele é exibida a informação de que a coluna não está nas colunas de origem. Em uma etapa com várias tabelas, como uma união, cada tabela é verificada em relação às suas próprias colunas de origem.

Uma linha com resumo Constante, Expressão ou Contagem (incluindo nulos) nunca é sinalizada, porque a etapa não lê a coluna de origem dela. Nada é sinalizado enquanto a tabela de dados de origem não listar nenhuma coluna, por exemplo antes de a origem ser inspecionada pela primeira vez.

Ao salvar uma etapa que ainda tem linhas sinalizadas, uma caixa de diálogo Colunas obsoletas encontradas as lista sob a guia ou a tabela em que estão e oferece três opções:

Remover todas e salvar — remove as linhas sinalizadas e, em seguida, salva.
Salvar mesmo assim — salva a etapa como está.
Cancelar — volta para a etapa sem salvar.

Para manter uma linha e eliminar o aviso dela, adicione a coluna de volta à tabela de dados de origem ou escolha uma coluna que a tabela de dados de origem liste.

Tipo de Dados da Coluna

Toda coluna de destino tem um Tipo. Uma coluna propagada da origem mantém o tipo da coluna de origem; uma linha que você adiciona manualmente começa como Texto, e você define o Tipo para indicar o que ela deve realmente ser — uma coluna que você pretende somar ou ordenar precisa do tipo numérico ou de data, porque texto é ordenado e somado como texto.

Uma etapa salva com uma coluna sem nenhum tipo ainda é executada. O tipo é determinado quando a etapa é iniciada, a partir da coluna de origem que essa coluna lê. Onde não há de onde lê-lo, ele é tratado como texto: as colunas de uma etapa Extrair SQL vêm da consulta que você escreveu, e não de uma origem mapeada, e onde várias origens têm o mesmo nome de coluna com tipos divergentes, usa-se texto em vez de adivinhar um deles — um palpite errado gera uma conversão que o data warehouse pode rejeitar, e qualquer coisa pode ser convertida em texto.

Definir o Tipo você mesmo continua sendo a forma de dizer o que uma coluna deve ser. Deixá-lo sem definição significa aceitar o tipo que a coluna de origem tiver.

Alteração da Ordem das Colunas

Para reorganizar as colunas na tabela de dados de destino, selecione as colunas desejadas. Você pode usar:

Setas de movimentação em massa: selecione a opção de movimentação desejada nas setas no canto superior direito
Menu de contexto: clique com o botão direito e selecione Mover para o início, Mover para cima, Mover para baixo ou Mover para o final.

Reduzir o Resultado a Registros Distintos

Para retornar apenas opções distintas, selecione a opção de menu Distintos. Isso exibe um conjunto de caixas de seleção para cada coluna da origem. Basta marcar a caixa ao lado da coluna correspondente para retornar apenas resultados distintos.

Dependendo da situação, talvez seja melhor considerar o uso de resumo.

O processo de distinção mantém o primeiro registro exclusivo encontrado e descarta os demais. Talvez você queira aplicar uma ordenação aos dados se a consistência entre execuções for importante.

Agregação e Agrupamento

Para agregar resultados, selecione a opção de menu Resumir. Isso exibe um conjunto de caixas de seleção para cada coluna da tabela de dados de destino. Escolha um método de resumo adequado para cada coluna.

Quando Inspecionar origem preenche as colunas, uma coluna numérica começa como Agrupar por em vez de Soma se o nome dela se parecer com um identificador, como id, customer_id, Order No ou CustomerKey, se a tabela dela a definir como chave ou se a junção a usar como chave.

Agrupar por
Soma
Mínimo
Máximo
Primeiro
Último
Contagem
Contagem (incluindo nulos)
Média
Desvio padrão
Desvio padrão amostral
Desvio padrão populacional
Variância
Variância amostral
Variância populacional
Avançado sem Agrupar por

Para uso avançado do Data Mapper, como expressões, limpeza e constantes, consulte Uso avançado do Data Mapper

Filtros de dados

Filtros de dados da tabela

Para oferecer o máximo de flexibilidade, há filtros de dados tanto nos dados de origem quanto nos dados de destino. Em conjuntos de dados maiores, filtrar linhas na origem pode ser especialmente vantajoso, pois as demais operações são executadas sobre um conjunto de dados menor.

Selecionar subconjunto de dados

Este tipo de filtro permite filtrar os dados de origem de entrada com base nas condições especificadas.

Aplicar filtro secundário aos dados de resultado

Este tipo de filtro permite aplicar um filtro aos dados de resultado já transformados, com base nas condições especificadas. Aplicar um filtro ao resultado transformado permite fazer exclusões com base em resultados de cálculos complexos, sumarizações ou funções de janela.

Divisão final da tabela de dados (limite)

O recurso de divisão de linhas permite limitar as linhas do conjunto de resultados com base em um intervalo e um ponto de partida.

Sintaxe de filtro

A sintaxe de filtro usa o Python SQLAlchemy, a mesma sintaxe das outras expressões.

Veja exemplos e funções de expressão na área Expressões.

Exemplos

Ainda não há exemplos…