Importar Excel

Descrição

Importe planilhas específicas de arquivos Microsoft Excel do PlaidCloud Document. O Analyze oferece suporte ao formato legado do Excel (XP/2003) e ao formato mais recente (2007/2010/2013). Isso inclui, entre outros, os seguintes tipos de arquivo:

XLS
XLSX
XLSB
XLSM

Pastas de trabalho binárias (XLSB), XLS legado e arquivos ODS importam planilhas e intervalos de células da mesma forma que o XLSX.

As importações do Excel são transmitidas por armazenamento temporário em vez de carregar a pasta de trabalho inteira na memória, de modo que arquivos muito grandes são importados sem esgotar a memória. Os tipos de dados de origem — decimais, datas e timestamps — são preservados na tabela de destino, em vez de passar por texto.

Exemplos

Ainda não há exemplos…

Parâmetros de importação

Importar origem e destino

O seletor de arquivos nesta transformação permite escolher um arquivo armazenado em um local de documentos do PlaidCloud para importar.

Você também pode escolher um diretório para importar, e todos os arquivos dentro dele serão importados como parte da execução da transformação.

Conta de Origem

Escolha uma conta de documentos do PlaidCloud à qual você tenha acesso. Isso permite selecionar um diretório ou arquivo na próxima seleção.

Dentro de um projeto, a lista também oferece Padrão do projeto no topo — um substituto para a conta que o projeto tiver definida como padrão no momento. Uma nova etapa já vem com Padrão do projeto selecionado quando o projeto tem um; uma etapa existente mantém a conta com a qual foi salva até você alterá-la. Uma etapa deixada em Padrão do projeto é executada com a conta que for o padrão do projeto no momento — se nenhuma estiver definida, a execução falha e cita o projeto, em vez de recorrer a outra conta.

Opção de Pesquisa

A opção Pesquisar permite encontrar todos os arquivos correspondentes abaixo de um caminho de diretório especificado para importar. Isso pode ser particularmente útil se muitos arquivos precisam ser incluídos, mas estão armazenados em diretórios aninhados ou misturados a outros arquivos do mesmo diretório que você não quer importar.

O caminho de pesquisa selecionado é o diretório inicial da busca. O processo de pesquisa procura todos os arquivos dentro desse diretório, bem como nos subdiretórios, que correspondam às condições de pesquisa especificadas. Verifique se os critérios de pesquisa também podem ser aplicados aos arquivos dos subdiretórios.

A pesquisa pode ser aplicada usando as seguintes condições:

Exata: corresponde exatamente ao texto pesquisado
Começa com: corresponde a qualquer arquivo que comece com o texto pesquisado
Contém: corresponde a qualquer arquivo que contenha o texto pesquisado
Termina com: corresponde a qualquer arquivo que termine com o texto pesquisado

Um assistente de IA ou a API REST também pode definir a pesquisa como glob, um padrão com curinga como CO Store*.yxdb comparado com o nome completo do arquivo sem diferenciar maiúsculas de minúsculas, ou regex, uma expressão regular com a qual o nome completo do arquivo deve corresponder. Uma expressão regular diferencia maiúsculas de minúsculas, a menos que comece com (?i).

Caminho do Arquivo de Origem

Quando um arquivo ou diretório de arquivos específico é necessário para a importação, escolher o arquivo ou diretório é uma opção melhor do que usar a pesquisa.

Para selecionar o arquivo ou diretório, basta usar o botão de navegação para escolher o caminho da conta de documentos selecionada acima.

Substituição de Variáveis

Tanto na opção de pesquisa quanto na opção de arquivo/diretório específico, é possível usar variáveis no caminho, no texto de pesquisa e nos nomes de arquivo.

Um exemplo que usa a variável current_month para apontar dinamicamente para o arquivo correto:

legal_entity/inputs/{current_month}/ledger_values.csv

Tabela de Destino

A seleção de destino para importações é limitada a tabelas, já que as visões não contêm os dados subjacentes.

Opção Dinâmica

A opção Dinâmica permite especificar uma tabela usando texto, inclusive variáveis. Isso é útil ao empregar fluxos de trabalho orientados por variáveis, em que as referências a tabelas e visões são relativas às variáveis especificadas.

Um exemplo que usa a variável current_month para apontar dinamicamente para a tabela de destino:

legal_entity/inputs/{current_month}/ledger_values

Opção Estática

Quando uma tabela específica é desejada como destino da importação, deixe a caixa Dinâmico desmarcada e selecione a tabela de destino.

Se a tabela de destino não existir, selecione o botão Criar novo para criar a tabela no local desejado.

O Explorador de tabelas está sempre disponível em qualquer seleção de tabela. Clique no botão Explorador de tabelas à direita da seleção de tabela e uma janela do Explorador de tabelas será aberta.

Opção Remover caracteres não ASCII

Ao selecionar esta opção, a importação remove qualquer conteúdo que não seja ASCII. Embora o PlaidCloud ofereça suporte total a Unicode (UTF-8), arquivos do mundo real podem conter todo tipo de codificação e caracteres soltos que dificultam o processamento.

Se o conteúdo do arquivo deve conter somente ASCII, marcar esta caixa ajuda a garantir que o processo de importação seja executado sem problemas.

Opção Excluir Arquivos Após a Importação

Esta opção permite que o processo de importação exclua o arquivo da conta de documentos do PlaidCloud após a conclusão bem-sucedida da importação.

Isso pode ser útil se os arquivos de importação são gerados e podem ser recriados a partir de um sistema de registro, ou se não há motivo para reter os arquivos de entrada brutos depois de processados.

Somente os arquivos importados são excluídos. Um arquivo que foi ignorado ou que gerou um aviso durante a importação permanece na pasta.

Opção Ignorar Nova Importação Se os Arquivos de Origem Não Mudaram

Quando esta opção está ativada, uma execução do fluxo de trabalho com esta etapa ignora a importação inteira — download, conversão e reconstrução da tabela — se os arquivos de origem e as configurações da etapa não mudaram desde a última execução bem-sucedida. Isso evita repetir o trabalho quando um fluxo de trabalho agendado é executado novamente com arquivos de origem que não mudaram.

A etapa compara cada arquivo de origem por caminho, tamanho e data da última modificação (além de um hash de conteúdo, quando a origem o fornece). Se algum arquivo for adicionado, removido ou alterado, ou se a configuração da etapa mudar, a importação é executada normalmente. A opção vem ativada por padrão — desmarque-a para sempre importar novamente — e importações manuais avulsas sempre são executadas.

Para ignorar a importação, a tabela de destino também precisa ainda conter as linhas carregadas pela última importação. Se a tabela tiver sido esvaziada desde então ou se a contagem de linhas não puder ser lida, a importação é executada novamente em vez de ser ignorada, o que deixaria as etapas seguintes sem dados.

Algumas origens (por exemplo, SFTP) não fornecem um hash de conteúdo; nelas, o sinal de mudança é apenas o tamanho e a data da última modificação do arquivo. Um arquivo substituído no local com o mesmo tamanho e a mesma data de modificação seria tratado como inalterado e ignorado — desmarque esta opção em uma etapa cuja origem possa ser atualizada dessa forma.

Cabeçalho

Como os arquivos Excel podem ou não conter cabeçalhos, o PlaidCloud oferece uma forma de usar os cabeçalhos, ignorá-los ou usar a ordem das colunas para determinar o alinhamento delas.

Sem cabeçalho: o arquivo não contém cabeçalho. Use a lista de origem no Data Mapper para determinar o alinhamento das colunas
Com cabeçalho - usar cabeçalho e substituir lista de campos: o arquivo tem cabeçalho. Use os nomes de cabeçalho especificados e ignore a lista de origem no Data Mapper.
Com cabeçalho - ignorar cabeçalho e usar a lista de campos: o arquivo tem cabeçalho, mas ele deve ser ignorado. Use os nomes de cabeçalho especificados pela lista de origem no Data Mapper.

Espaços e quebras de linha no início e no fim das células de cabeçalho são removidos dos nomes das colunas.

Seleção de linhas

Para arquivos de entrada com registros estranhos, você pode especificar um número de linhas a ignorar antes de processar os dados. Isso é útil se os arquivos contêm blocos de cabeçalho que precisam ser ignorados antes de chegar aos dados tabulares.

Selecione Keep Empty Text Cells As Empty String para carregar uma célula de texto vazia como uma string vazia em vez de NULL.

Mais opções do Excel contém estes campos:

Omitir as linhas que a planilha oculta (skip_hidden_rows) — as linhas que a planilha oculta não são importadas.
Importar uma célula com erro de fórmula como o texto do erro (#DIV/0!), não vazia (keep_error_cells) — uma célula com erro de fórmula é importada como o texto do erro, como #DIV/0!, em vez de vazia.
Dígitos significativos (significant_digits) — arredonda cada número decimal para essa quantidade de dígitos significativos. O Excel mantém 15.
Posição da planilha (sheet_index) — importa a planilha nessa posição, com base 0, na pasta de trabalho, em vez das planilhas escolhidas por nome.

Em Planilhas a importar, selecione Importar a primeira planilha que tiver dados (sheet_first_with_data) para importar a primeira planilha que tiver dados, ignorando as planilhas vazias que a precedem. Quando nenhuma tem dados, a primeira planilha da pasta de trabalho é lida.

Pasta de trabalho

Variável de senha da pasta de trabalho abre pastas de trabalho protegidas por senha. Informe a variável de fluxo de trabalho ou de projeto que contém a senha, como {xlsx_password}, e não a senha em si: uma etapa cujo campo de senha contenha qualquer coisa que não seja uma referência a variável é recusada ao ser salva, de modo que a senha nunca aparece na etapa, em suas versões nem em suas cópias. As etapas que tinham uma senha digitada antes desta regra tiveram a senha movida automaticamente para uma nova variável de projeto, visível apenas para Arquitetos, e agora referenciam essa variável.

O que ler

Cada entrada na importação seleciona uma planilha, um intervalo nomeado definido pela pasta de trabalho ou um intervalo de células específico — os três são equivalentes, e uma importação pode combiná-los em várias entradas.

Planilha: lê uma planilha inteira, selecionada pelo nome.
Intervalo nomeado: lê um intervalo para o qual a própria pasta de trabalho define um nome. Os intervalos nomeados são listados junto com as planilhas no seletor (veja Localizar abas no arquivo selecionado abaixo), de modo que você os seleciona da mesma forma que uma planilha.
Intervalo de células: lê um intervalo retangular específico que não é respaldado por uma planilha ou por um nome da pasta de trabalho. Escolha a planilha em que o intervalo está e insira o intervalo depois de um $. Há suporte para três formas:
- Sheet1$A1:J100 — um intervalo delimitado.
- Sheet1$A1:J — sem limite final; lê de A1 até a última linha das colunas A a J.
- Sheet1$A:BJ — colunas inteiras; lê as colunas A a BJ da planilha, a forma que o Alteryx grava para uma entrada do Excel.

Os intervalos nomeados são lidos de pastas de trabalho XLSX e XLSM. As pastas de trabalho XLSB, XLS e ODS oferecem planilhas e intervalos de células.

Planilhas a importar

Como as pastas de trabalho podem conter muitas planilhas com dados diferentes, é possível selecionar quais planilhas devem ser importadas no processo de importação atual. As opções são:

Todas as planilhas
Planilhas correspondentes à pesquisa
Planilhas selecionadas

Usando a pesquisa de planilhas

A funcionalidade de pesquisa de planilhas permite incluir as planilhas que correspondem aos critérios de pesquisa. Os critérios de pesquisa permitem:

Começa com: o nome da planilha começa com o texto pesquisado
Contém: o nome da planilha contém o texto pesquisado
Termina com: o nome da planilha termina com o texto pesquisado

Localizar abas no arquivo selecionado

O botão de localizar abas abre o arquivo Excel e lista as planilhas e os intervalos nomeados disponíveis na tabela. Marque as caixas de seleção na tabela das planilhas e/ou dos intervalos nomeados a serem incluídos na importação. Uma pasta de trabalho dentro de um arquivo .zip também funciona: suas planilhas e intervalos nomeados são listados.

Mapeamento de planilhas

Um Mapeamento de planilhas lê um conjunto diferente de planilhas de cada pasta de trabalho. Escolha uma Tabela de mapeamento de planilhas com uma linha para cada planilha a ser lida, com a Coluna da pasta de trabalho contendo o caminho ou o nome de arquivo da pasta de trabalho e a Coluna da planilha contendo a planilha. Quando um mapeamento de planilhas é definido, apenas as pastas de trabalho que a tabela nomeia são lidas, cada uma para as planilhas que ela lista, na ordem das linhas da tabela. Uma planilha em branco lê a primeira planilha da pasta de trabalho.

Arquivos sem a planilha selecionada

Quando uma importação lê vários arquivos, um arquivo que não contém a planilha selecionada, ou que não tem nenhuma planilha correspondente à sua pesquisa de planilhas, é ignorado. A etapa termina com um aviso que informa o arquivo ignorado e lista as planilhas que ele tem, e os outros arquivos continuam sendo importados. Se todos os arquivos forem ignorados, a etapa ainda assim é concluída com sucesso, a tabela de destino fica vazia e um aviso explica o motivo. Os nomes das planilhas precisam corresponder exatamente, inclusive em maiúsculas e minúsculas.

Um arquivo ignorado permanece na pasta, mesmo com Delete Files After Import ativado, e emite o aviso novamente a cada execução até que você o remova ou corrija. Os avisos de uma importação de vários arquivos aparecem na etapa: até cinco são listados, mais a contagem dos demais.

Seleção de dados da tabela

Configuração do Data Mapper

Data Mapper de tabela

O Data Mapper é usado para mapear as colunas dos dados de origem para a tabela de dados de destino.

Inspeção e Preenchimento do Mapeador

O botão de menu Inspecionar origem oferece formas adicionais de mapear colunas da origem para o destino:

Preencher ambas as tabelas de mapeamento: propaga todos os valores da tabela de dados de origem para a tabela de dados de destino. Este é o comportamento padrão.
Preencher somente a tabela de mapeamento de origem: mapeia apenas todos os valores da tabela de dados de origem. Isso é útil ao modificar um fluxo de trabalho existente quando a estrutura de colunas da origem mudou.
Preencher somente a tabela de mapeamento de destino: propaga todos os valores apenas para a tabela de dados de destino.

Se as opções de coluna de origem e de destino não forem suficientes, é possível adicionar outras colunas à tabela de dados de destino de várias maneiras:

Propagar tudo insere todas as colunas de origem na tabela de dados de destino, quer elas já existam ou não.
Propagar selecionadas insere apenas as colunas de origem selecionadas.
Clique com o botão direito no lado do destino e selecione Inserir linha para inserir uma linha imediatamente acima da linha selecionada.
Clique com o botão direito no lado do destino e selecione Anexar linha para inserir uma linha no final (extrema direita) da tabela de dados de destino.

Exclusão de Colunas

Para excluir colunas da tabela de dados de destino, selecione as colunas desejadas, clique com o botão direito e selecione Excluir.

Colunas de Origem que Não Estão Mais Listadas

Uma linha de destino pode indicar uma Coluna de origem que a tabela de dados de origem não lista mais, por exemplo depois que a origem foi inspecionada novamente. A etapa nunca remove essa linha por você. Em vez disso, o nome da coluna aparece em vermelho, após um sinal de aviso ⚠, e ao passar o mouse sobre ele é exibida a informação de que a coluna não está nas colunas de origem. Em uma etapa com várias tabelas, como uma união, cada tabela é verificada em relação às suas próprias colunas de origem.

Uma linha com resumo Constante, Expressão ou Contagem (incluindo nulos) nunca é sinalizada, porque a etapa não lê a coluna de origem dela. Nada é sinalizado enquanto a tabela de dados de origem não listar nenhuma coluna, por exemplo antes de a origem ser inspecionada pela primeira vez.

Ao salvar uma etapa que ainda tem linhas sinalizadas, uma caixa de diálogo Colunas obsoletas encontradas as lista sob a guia ou a tabela em que estão e oferece três opções:

Remover todas e salvar — remove as linhas sinalizadas e, em seguida, salva.
Salvar mesmo assim — salva a etapa como está.
Cancelar — volta para a etapa sem salvar.

Para manter uma linha e eliminar o aviso dela, adicione a coluna de volta à tabela de dados de origem ou escolha uma coluna que a tabela de dados de origem liste.

Tipo de Dados da Coluna

Toda coluna de destino tem um Tipo. Uma coluna propagada da origem mantém o tipo da coluna de origem; uma linha que você adiciona manualmente começa como Texto, e você define o Tipo para indicar o que ela deve realmente ser — uma coluna que você pretende somar ou ordenar precisa do tipo numérico ou de data, porque texto é ordenado e somado como texto.

Uma etapa salva com uma coluna sem nenhum tipo ainda é executada. O tipo é determinado quando a etapa é iniciada, a partir da coluna de origem que essa coluna lê. Onde não há de onde lê-lo, ele é tratado como texto: as colunas de uma etapa Extrair SQL vêm da consulta que você escreveu, e não de uma origem mapeada, e onde várias origens têm o mesmo nome de coluna com tipos divergentes, usa-se texto em vez de adivinhar um deles — um palpite errado gera uma conversão que o data warehouse pode rejeitar, e qualquer coisa pode ser convertida em texto.

Definir o Tipo você mesmo continua sendo a forma de dizer o que uma coluna deve ser. Deixá-lo sem definição significa aceitar o tipo que a coluna de origem tiver.

Alteração da Ordem das Colunas

Para reorganizar as colunas na tabela de dados de destino, selecione as colunas desejadas. Você pode usar:

Setas de movimentação em massa: selecione a opção de movimentação desejada nas setas no canto superior direito
Menu de contexto: clique com o botão direito e selecione Mover para o início, Mover para cima, Mover para baixo ou Mover para o final.

Reduzir o Resultado a Registros Distintos

Para retornar apenas opções distintas, selecione a opção de menu Distintos. Isso exibe um conjunto de caixas de seleção para cada coluna da origem. Basta marcar a caixa ao lado da coluna correspondente para retornar apenas resultados distintos.

Dependendo da situação, talvez seja melhor considerar o uso de resumo.

O processo de distinção mantém o primeiro registro exclusivo encontrado e descarta os demais. Talvez você queira aplicar uma ordenação aos dados se a consistência entre execuções for importante.

Agregação e Agrupamento

Para agregar resultados, selecione a opção de menu Resumir. Isso exibe um conjunto de caixas de seleção para cada coluna da tabela de dados de destino. Escolha um método de resumo adequado para cada coluna.

Quando Inspecionar origem preenche as colunas, uma coluna numérica começa como Agrupar por em vez de Soma se o nome dela se parecer com um identificador, como id, customer_id, Order No ou CustomerKey, se a tabela dela a definir como chave ou se a junção a usar como chave.

Agrupar por
Soma
Mínimo
Máximo
Primeiro
Último
Contagem
Contagem (incluindo nulos)
Média
Desvio padrão
Desvio padrão amostral
Desvio padrão populacional
Variância
Variância amostral
Variância populacional
Avançado sem Agrupar por

Para uso avançado do Data Mapper, como expressões, limpeza e constantes, consulte Uso avançado do Data Mapper

Uma coluna de origem em várias colunas de destino

Uma única coluna de origem pode alimentar mais de uma coluna de destino. Mapeie a mesma coluna de origem em duas ou mais linhas de destino, cada uma com seu próprio nome, tipo ou expressão. Por exemplo, leia Amount uma vez como coluna de texto e outra como coluna numérica, ou crie duas colunas de texto a partir da mesma célula. Um destino numérico não converte mais a origem antes de a sua expressão ser executada, de modo que uma expressão pode limpar primeiro um valor como 1,500.

Isso funciona da mesma forma em todas as importações de arquivo que usam o Data Mapper, exceto Importar CSV: Importar Excel, largura fixa, JSON, Avro, Parquet, DBF, XML e YXDB.

Filtros de dados

Filtros de dados da tabela

Para oferecer o máximo de flexibilidade, há filtros de dados tanto nos dados de origem quanto nos dados de destino. Em conjuntos de dados maiores, filtrar linhas na origem pode ser especialmente vantajoso, pois as demais operações são executadas sobre um conjunto de dados menor.

Selecionar subconjunto de dados

Este tipo de filtro permite filtrar os dados de origem de entrada com base nas condições especificadas.

Aplicar filtro secundário aos dados de resultado

Este tipo de filtro permite aplicar um filtro aos dados de resultado já transformados, com base nas condições especificadas. Aplicar um filtro ao resultado transformado permite fazer exclusões com base em resultados de cálculos complexos, sumarizações ou funções de janela.

Divisão final da tabela de dados (limite)

O recurso de divisão de linhas permite limitar as linhas do conjunto de resultados com base em um intervalo e um ponto de partida.

Sintaxe de filtro

A sintaxe de filtro usa o Python SQLAlchemy, a mesma sintaxe das outras expressões.

Veja exemplos e funções de expressão na área Expressões.