AI_EMBEDDING_VECTOR (Lakehouse v1)

Este documento ofrece una descripción general de la función ai_embedding_vector de PlaidCloud Lakehouse y muestra cómo crear incrustaciones de documentos con ella.

Consulte la implementación original.

De forma predeterminada, PlaidCloud Lakehouse utiliza el modelo text-embedding-ada para generar incrustaciones.

Descripción general de Ai_embedding_vector

La función ai_embedding_vector de PlaidCloud Lakehouse es una función integrada que genera incrustaciones vectoriales para datos de texto. Resulta útil en tareas de procesamiento del lenguaje natural, como la similitud entre documentos, la agrupación en clústeres y los sistemas de recomendación.

La función toma un texto como entrada y devuelve un vector de alta dimensión que representa el significado semántico y el contexto del texto de entrada. Las incrustaciones se crean con modelos preentrenados en grandes corpus de texto, que capturan las relaciones entre palabras y frases en un espacio continuo.

Creación de incrustaciones con Ai_embedding_vector

Para crear incrustaciones de un documento de texto con la función ai_embedding_vector, siga el ejemplo siguiente.

Cree una tabla para almacenar los documentos:

CREATE TABLE documents (
                           id INT,
                           title VARCHAR,
                           content VARCHAR,
                           embedding ARRAY(FLOAT32)
);

Inserte documentos de ejemplo en la tabla:

INSERT INTO documents(id, title, content)
VALUES
    (1, 'A Brief History of AI', 'Artificial intelligence (AI) has been a fascinating concept of science fiction for decades...'),
    (2, 'Machine Learning vs. Deep Learning', 'Machine learning and deep learning are two subsets of artificial intelligence...'),
    (3, 'Neural Networks Explained', 'A neural network is a series of algorithms that endeavors to recognize underlying relationships...'),

Genere las incrustaciones:

UPDATE documents SET embedding = ai_embedding_vector(content) WHERE length(embedding) = 0;

Después de ejecutar la consulta, la columna de incrustación de la tabla contendrá las incrustaciones generadas.

Las incrustaciones se almacenan como una matriz de valores FLOAT32 en la columna de incrustación, que tiene el tipo de columna ARRAY(FLOAT32).

Ahora puede usar estas incrustaciones en diversas tareas de procesamiento del lenguaje natural, como encontrar documentos similares o agrupar documentos según su contenido.

Inspeccione las incrustaciones:

SELECT length(embedding) FROM documents;
┌───────────────────┐
│ length(embedding) │
├───────────────────┤
│              1536 │
│              1536 │
│              1536 │
└───────────────────┘

La consulta anterior muestra que las incrustaciones generadas tienen una longitud de 1536 (dimensiones) para cada documento.