AI_EMBEDDING_VECTOR (Lakehouse v1)

Dieses Dokument bietet einen Überblick über die Funktion ai_embedding_vector in PlaidCloud Lakehouse und zeigt, wie Sie mit ihr Dokument-Embeddings erstellen.

Siehe die Upstream-Implementierung.

Standardmäßig verwendet PlaidCloud Lakehouse das Modell text-embedding-ada, um Embeddings zu erzeugen.

Überblick über Ai_embedding_vector

Die Funktion ai_embedding_vector in PlaidCloud Lakehouse ist eine integrierte Funktion, die Vektor-Embeddings für Textdaten erzeugt. Sie ist nützlich für Aufgaben der Verarbeitung natürlicher Sprache, etwa Dokumentähnlichkeit, Clustering und Empfehlungssysteme.

Die Funktion nimmt eine Texteingabe entgegen und gibt einen hochdimensionalen Vektor zurück, der die semantische Bedeutung und den Kontext des Eingabetexts repräsentiert. Die Embeddings werden mit vortrainierten Modellen auf großen Textkorpora erstellt und bilden die Beziehungen zwischen Wörtern und Phrasen in einem kontinuierlichen Raum ab.

Embeddings mit Ai_embedding_vector erstellen

Um mit der Funktion ai_embedding_vector Embeddings für ein Textdokument zu erstellen, folgen Sie dem nachstehenden Beispiel.

Erstellen Sie eine Tabelle zum Speichern der Dokumente:

CREATE TABLE documents (
                           id INT,
                           title VARCHAR,
                           content VARCHAR,
                           embedding ARRAY(FLOAT32)
);

Fügen Sie der Tabelle Beispieldokumente hinzu:

INSERT INTO documents(id, title, content)
VALUES
    (1, 'A Brief History of AI', 'Artificial intelligence (AI) has been a fascinating concept of science fiction for decades...'),
    (2, 'Machine Learning vs. Deep Learning', 'Machine learning and deep learning are two subsets of artificial intelligence...'),
    (3, 'Neural Networks Explained', 'A neural network is a series of algorithms that endeavors to recognize underlying relationships...'),

Generieren Sie die Embeddings:

UPDATE documents SET embedding = ai_embedding_vector(content) WHERE length(embedding) = 0;

Nach der Ausführung der Abfrage enthält die Embedding-Spalte der Tabelle die generierten Embeddings.

Die Embeddings werden als Array von FLOAT32-Werten in der Embedding-Spalte gespeichert, die den Spaltentyp ARRAY(FLOAT32) hat.

Sie können diese Embeddings nun für verschiedene Aufgaben der Verarbeitung natürlicher Sprache verwenden, etwa um ähnliche Dokumente zu finden oder Dokumente anhand ihres Inhalts zu clustern.

Prüfen Sie die Embeddings:

SELECT length(embedding) FROM documents;
┌───────────────────┐
│ length(embedding) │
├───────────────────┤
│              1536 │
│              1536 │
│              1536 │
└───────────────────┘

Die obige Abfrage zeigt, dass die generierten Embeddings für jedes Dokument eine Länge von 1536 (Dimensionen) haben.