Importar Delta Lake
Descrição
Seção intitulada “Descrição”Importa uma tabela Delta Lake armazenada no PlaidCloud Document para uma tabela de projeto. Aponte a etapa para a pasta da tabela, aquela que contém a pasta _delta_log e os arquivos de dados. A tabela é lida em sua versão mais recente.
O formulário da etapa tem as mesmas guias de Importar Parquet: Parâmetros de importação define o Arquivo de origem, a pasta da tabela, e a Tabela de destino; Seleção de dados da tabela mapeia as colunas; Filtros de dados filtra as linhas. Preencher lê as colunas e seus tipos a partir do _delta_log da tabela, com as colunas de partição por último, como texto. Quando a pasta não existe ou está vazia, Preencher responde Nada para preencher com um aviso que informa o caminho e mantém o mapeamento que você já tem.
Os fluxos de trabalho do KNIME migrados usam esta etapa para os nós Delta Table Reader.
Configuração
Seção intitulada “Configuração”input_file— a conta de documentos e o caminho da pasta da tabela Delta. Uma pesquisa encontra várias tabelas: comschema_mismatchdefinido comounion(padrão), cada tabela é carregada por nome de coluna, as colunas que uma tabela não tem ficam NULL e as colunas que o mapeamento não declara são omitidas;errorinterrompe a etapa, informando a tabela e as colunas. Definaschema_mismatchcom um assistente de IA ou pela API REST.target_frame— a tabela em que as linhas são gravadas.source_columnsetarget_columns— o mapeamento de colunas.source_where,having,aggregate,aggregation_typeedistinct— filtram e resumem as linhas, como nas outras etapas de importação.use_target_slicer,limit_target_startelimit_target_end— mantêm apenas uma fatia do resultado.delete_file— exclui os arquivos importados após a importação.ascii_only— remove caracteres não ASCII.skip_if_unchanged— ativado por padrão: uma execução de fluxo de trabalho ignora a importação quando os arquivos de origem e as configurações da etapa não mudaram desde a última execução bem-sucedida.