Importar Delta Lake
Descrição
Seção intitulada “Descrição”Importa uma tabela Delta Lake armazenada no PlaidCloud Document para uma tabela de projeto. Aponte o passo para a pasta da tabela, a que contém a pasta _delta_log e os ficheiros de dados. A tabela é lida na sua versão mais recente.
O formulário do passo tem os mesmos separadores que Importar Parquet: Parâmetros de importação escolhe o Ficheiro de origem, a pasta da tabela, e a Tabela de destino; Seleção de dados da tabela mapeia as colunas; Filtros de dados filtra as linhas. Preencher lê as colunas e os respetivos tipos a partir do _delta_log da tabela, com as colunas de partição por último, como texto. Quando a pasta não existe ou está vazia, Preencher responde Nada para preencher com um aviso que indica o caminho e mantém o mapeamento existente.
Os fluxos de trabalho KNIME migrados utilizam este passo para os nós Delta Table Reader.
Configuração
Seção intitulada “Configuração”input_file— a conta de documentos e o caminho da pasta da tabela Delta. Uma pesquisa encontra várias tabelas: comschema_mismatchdefinido comounion(predefinição), cada tabela é carregada por nome de coluna, as colunas que uma tabela não tem ficam a NULL e as colunas que o mapeamento não declara são excluídas;errorinterrompe o passo, indicando a tabela e as colunas. Definaschema_mismatchcom um assistente de IA ou através da API REST.target_frame— a tabela onde as linhas são escritas.source_columnsetarget_columns— o mapeamento de colunas.source_where,having,aggregate,aggregation_typeedistinct— filtram e resumem as linhas, como nos outros passos de importação.use_target_slicer,limit_target_startelimit_target_end— mantêm apenas uma fatia do resultado.delete_file— elimina os ficheiros importados após a importação.ascii_only— remove os carateres não ASCII.skip_if_unchanged— ativado por predefinição: uma execução do fluxo de trabalho ignora a importação quando os ficheiros de origem e as definições do passo não foram alterados desde a última execução bem-sucedida.