Table Union Distinct (paso)
Descripción
Sección titulada «Descripción»Úselo para combinar varias tablas de datos con la misma estructura de columnas en una sola tabla de datos. Por ejemplo, los datos de series temporales son un candidato ideal para esta transformación. El resultado es siempre el conjunto distinto de registros tras combinar los datos.
Orígenes
Sección titulada «Orígenes»La sección Orígenes sirve como colección de todas las tablas de datos que se anexarán entre sí. Normalmente, todas las tablas de datos tendrán la misma estructura de columnas (o una similar). Hay dos botones disponibles para agregar una tabla de datos a la lista:
- Insertar fila
- Anexar fila
Además, al hacer clic con el botón derecho en la ventana Seleccionar origen para editar se mostrarán las mismas opciones. Al hacer clic con el botón derecho en una tabla ya agregada también se mostrará la opción Eliminar.
Para ejecutar la transformación correctamente, debe haber una entrada en la sección Orígenes por cada tabla de datos de origen que se vaya a anexar. Estas entradas se muestran en el orden en que se anexarán. Para ajustar el orden, al hacer clic con el botón derecho en una tabla se mostrarán las siguientes opciones:
- Bajar (si procede)
- Mover al final (si procede)
- Subir (si procede)
- Mover al principio (si procede)
De forma predeterminada, cada origen se llama New Frame, pero se recomienda al modelador que ponga nombres descriptivos haciendo doble clic en el nombre y cambiándolo según corresponda.
Tabla de destino
Sección titulada «Tabla de destino»De forma predeterminada, la Tabla de destino se deja en blanco. Antes de asignarle un nombre, tenga en cuenta que las tablas de datos deben seguir las convenciones de nomenclatura de Linux. Por ello, recomendamos que los nombres consten solo de caracteres alfanuméricos. Analyze eliminará automáticamente del nombre cualquier carácter no válido. Además, limitará la longitud a 256 caracteres, así que sea conciso.
Tabla de destino
Para establecer la tabla de destino, seleccione una tabla existente con el menú desplegable Tabla de destino o haga clic en el signo “+” verde para crear una nueva tabla de destino.
Creación de tablas
Al crear una nueva tabla, podrá crearla como Vista o como Tabla.
Vistas:
Las vistas son útiles porque el tiempo que tarda en ejecutarse un paso es considerablemente menor que cuando se usa una tabla. La desventaja de las vistas es que no son útiles para explorar datos en el modo Detalles de la tabla.
Tablas:
Cuando se usa una tabla como destino, un paso tarda más en ejecutarse, pero la exploración de datos en el modo Detalles es mucho más rápida que con una vista.
Pestaña Selección de datos de la tabla
Sección titulada «Pestaña Selección de datos de la tabla»Tabla de origen
Sección titulada «Tabla de origen»Selección de tablas
Hay dos opciones para seleccionar la tabla o, en la segunda opción, las tablas:
La primera opción es usar el menú desplegable Tabla específica para seleccionar la tabla.
La segunda es usar la opción Tablas que coinciden con la búsqueda, en la que se especifican la Ruta de búsqueda y el Texto de búsqueda para seleccionar la tabla o las tablas que cumplen los criterios de búsqueda. Esta opción es muy útil si tiene un flujo de trabajo que crea una serie de tablas con nombres comunes que se han guardado añadiendo la fecha.
Columnas de origen
Sección titulada «Columnas de origen»Configuración del asignador de datos
El asignador de datos se usa para asignar columnas de los datos de origen a la tabla de datos de destino.
Inspección y llenado del asignador
Usar el botón de menú Inspeccionar origen ofrece formas adicionales de asignar columnas del origen al destino:
- Rellenar ambas tablas de asignación: propaga todos los valores de la tabla de datos de origen a la tabla de datos de destino. Es la opción predeterminada.
- Rellenar solo la tabla de asignación de origen: asigna únicamente todos los valores de la tabla de datos de origen. Es útil al modificar un flujo de trabajo existente cuando la estructura de columnas de origen ha cambiado.
- Rellenar solo la tabla de asignación de destino: propaga todos los valores únicamente a la tabla de datos de destino.
Si las opciones de columnas de origen y de destino no bastan, se pueden agregar otras columnas a la tabla de datos de destino de varias maneras:
- Propagar todo insertará todas las columnas de origen en la tabla de datos de destino, existan ya o no.
- Propagar seleccionadas insertará solo las columnas de origen seleccionadas.
- Haga clic con el botón derecho en el lado de destino y seleccione Insertar fila para insertar una fila justo encima de la fila seleccionada.
- Haga clic con el botón derecho en el lado de destino y seleccione Anexar fila para insertar una fila al final (extremo derecho) de la tabla de datos de destino.
Eliminar columnas
Para eliminar columnas de la tabla de datos de destino, seleccione las columnas deseadas, haga clic con el botón derecho y seleccione Eliminar.
Columnas de origen que ya no figuran en la lista
Una fila de destino puede nombrar una Columna de origen que la tabla de datos de origen ya no incluye, por ejemplo, después de volver a inspeccionar el origen. El paso nunca quita una fila así por usted. En su lugar, el nombre de la columna se muestra en rojo junto a una señal de advertencia ⚠, y al pasar el cursor por encima se indica que la columna no está en las columnas de origen. En un paso con varias tablas, como una unión, cada tabla se comprueba con sus propias columnas de origen.
Una fila con una Constante, una Expresión o un resumen de Recuento (incluidos nulos) nunca se marca, porque el paso no lee su columna de origen. No se marca nada mientras la tabla de datos de origen no incluya columnas, por ejemplo, antes de inspeccionar el origen por primera vez.
Al guardar un paso que todavía tiene filas marcadas, un cuadro de diálogo Se encontraron columnas obsoletas las enumera bajo la pestaña o la tabla en la que se encuentran, y ofrece tres opciones:
- Quitar todas y guardar: quita las filas marcadas y luego guarda.
- Guardar de todos modos: guarda el paso tal como está.
- Cancelar: vuelve al paso sin guardar.
Para conservar una fila y eliminar su advertencia, vuelva a agregar la columna a la tabla de datos de origen o elija una columna que la tabla de datos de origen incluya.
Columnas que faltan en la tabla de origen
Al guardar, se comprueba la propia tabla de datos de origen tal como está en ese momento. Si una columna que el paso incluye en sus columnas de origen no existe en la tabla, por ejemplo porque un paso anterior la renombró o la eliminó, las columnas del paso están desactualizadas, y un paso que lee esa columna falla al ejecutarse. Entonces, al guardar se abre un cuadro de diálogo Faltan columnas de origen que nombra cada tabla y las columnas que le faltan, con dos opciones:
- Guardar de todos modos: guarda el paso tal como está.
- Cancelar: vuelve al paso sin guardar.
No se quita nada automáticamente, porque el problema puede estar en la tabla y esta puede volver a cambiar antes de que se ejecute el paso. Cuando también hay filas marcadas como ya no incluidas en la lista, ambos avisos aparecen juntos en el cuadro de diálogo Se encontraron columnas obsoletas, y Quitar todas y guardar quita únicamente las filas marcadas. Mientras la lista de columnas de origen está vacía, se comprueban en su lugar las columnas que asigna el paso, excepto las filas con un resumen Constante, Expresión o Recuento (incluidos nulos), que no leen ninguna columna.
Un origen nombrado con una variable, como {year}/Sales, se comprueba con el valor de la variable en el momento de guardar, y el cuadro de diálogo nombra la tabla que comprobó, por ejemplo 2026/Sales (from {year}/Sales). Una variable establecida por un bucle contiene el valor de su última iteración, por lo que un bucle sobre tablas con estructuras distintas puede avisar de una tabla que la siguiente ejecución no leerá. No se comprueba una tabla que aún no existe, por ejemplo una que crea un paso anterior del flujo de trabajo, ni un origen cuya variable no tiene valor, ni una tabla que el paso encuentra mediante búsqueda al ejecutarse, ni una tabla que no se puede leer en ese momento.
Tipo de datos de la columna
Cada columna de destino tiene un Tipo. Una columna propagada desde el origen conserva el tipo de la columna de origen; una fila que usted agrega manualmente comienza como Texto, y usted define el Tipo para indicar lo que debe ser en realidad: una columna que piensa sumar u ordenar necesita su tipo numérico o de fecha, porque el texto se ordena y se suma como texto.
Un paso guardado con una columna sin ningún tipo se ejecuta igualmente. El tipo se determina cuando el paso se inicia, a partir de la columna de origen que lee esa columna. Si no hay nada de dónde leerlo, se trata como texto: las columnas de un paso Extraer SQL proceden de la consulta que usted escribió y no de un origen asignado, y cuando varios orígenes tienen el mismo nombre de columna con tipos que no coinciden, se usa texto en lugar de adivinar uno de ellos: una suposición errónea produce una conversión que el almacén puede rechazar, y todo se puede convertir a texto.
Definir el Tipo usted mismo sigue siendo la forma de indicar lo que debe ser una columna. Dejarlo sin definir significa aceptar lo que resulte ser la columna de origen.
Cambiar el orden de las columnas
Para reorganizar las columnas de la tabla de datos de destino, seleccione las columnas deseadas. Puede usar cualquiera de estas opciones:
- Flechas de movimiento masivo: seleccione la opción de movimiento deseada con las flechas de la esquina superior derecha.
- Menú contextual: haga clic con el botón derecho y seleccione Mover al principio, Subir, Bajar o Mover al final.
Reducir el resultado solo a registros distintos
Para devolver solo opciones distintas, seleccione la opción de menú Distinto. Esto mostrará un conjunto de casillas de verificación para cada columna del origen. Basta con marcar la casilla junto a la columna correspondiente para devolver solo resultados distintos.
Según la situación, quizá convenga considerar el uso de un resumen en su lugar.
El proceso de distinción conserva el primer registro único encontrado y descarta el resto. Quizá convenga aplicar una ordenación a los datos si es importante la coherencia entre ejecuciones.
Agregación y agrupación
Para agregar resultados, seleccione la opción de menú Resumir. Esto mostrará un conjunto de cuadros de selección para cada columna de la tabla de datos de destino. Elija un método de resumen adecuado para cada columna.
Cuando Inspeccionar origen llena las columnas, una columna numérica comienza como Agrupar por en lugar de Suma si su nombre se lee como un identificador, como id, customer_id, Order No o CustomerKey, si su tabla la define como clave, o si la combinación la usa como clave.
- Agrupar por
- Suma
- Mín.
- Máx.
- Primero
- Último
- Recuento
- Recuento (incluidos nulos)
- Media
- Desviación estándar
- Desviación estándar muestral
- Desviación estándar poblacional
- Varianza
- Varianza muestral
- Varianza poblacional
- Avanzado, sin agrupar
Para un uso avanzado del asignador de datos, como expresiones, limpieza y constantes, consulte Uso avanzado del asignador de datos
Filtros de datos
Sección titulada «Filtros de datos»
Para ofrecer la máxima flexibilidad, hay filtros de datos disponibles tanto para los datos de origen como para los datos de destino. En conjuntos de datos grandes, puede ser especialmente beneficioso filtrar filas en el origen para que las operaciones restantes se realicen sobre un conjunto de datos más pequeño.
Seleccionar un subconjunto de datos
Este tipo de filtro permite filtrar los datos de origen entrantes según las condiciones especificadas.
Aplicar un filtro secundario a los datos resultantes
Este tipo de filtro permite aplicar un filtro a los datos resultantes posteriores a la transformación según las condiciones especificadas. La posibilidad de aplicar un filtro sobre el resultado transformado permite realizar exclusiones basadas en los resultados de cálculos complejos, resúmenes o funciones de ventana.
Segmentación final de la tabla de datos (límite)
La capacidad de segmentación de filas permite limitar las filas del conjunto de resultados según un intervalo y un punto de inicio.
Sintaxis de filtros
La sintaxis de filtros utiliza Python SQLAlchemy, que es la misma sintaxis que otras expresiones.
Consulte ejemplos y funciones de expresión en el área de Expresiones.
Qué se comprueba al guardar
Sección titulada «Qué se comprueba al guardar»Todos los orígenes deben producir las mismas columnas que el primer origen: los mismos nombres de columna y, cuando ambos declaran uno, el mismo tipo. La tabla de destino se construye a partir de las columnas del primer origen. Un origen puede enumerar sus columnas en un orden distinto, porque se hacen coincidir por nombre. Se rechaza guardar un paso cuyos orígenes difieren, y se indica cada diferencia: Source ‘east’ must produce the same columns as ‘west’: missing region; not in ‘west’: area.
Al guardar también se rellena, a partir de su tabla, la asignación de cada origen que tiene una tabla de origen pero no tiene columnas de origen o de destino, como haría Rellenar ambas tablas de asignación.