AI_EMBEDDING_VECTOR (Lakehouse v1)

Ten dokument przedstawia funkcję ai_embedding_vector w PlaidCloud Lakehouse i pokazuje, jak za jej pomocą tworzyć osadzenia dokumentów.

Zobacz implementację źródłową.

Domyślnie PlaidCloud Lakehouse używa do generowania osadzeń modelu text-embedding-ada.

Przegląd funkcji Ai_embedding_vector

Funkcja ai_embedding_vector w PlaidCloud Lakehouse jest wbudowaną funkcją generującą osadzenia wektorowe dla danych tekstowych. Przydaje się w zadaniach przetwarzania języka naturalnego, takich jak podobieństwo dokumentów, klasteryzacja i systemy rekomendacji.

Funkcja przyjmuje tekst jako dane wejściowe i zwraca wielowymiarowy wektor reprezentujący znaczenie semantyczne i kontekst tego tekstu. Osadzenia są tworzone przy użyciu modeli wstępnie wytrenowanych na dużych korpusach tekstów, które uchwytują relacje między słowami i frazami w przestrzeni ciągłej.

Tworzenie osadzeń za pomocą Ai_embedding_vector

Aby utworzyć osadzenia dla dokumentu tekstowego za pomocą funkcji ai_embedding_vector, skorzystaj z poniższego przykładu.

Utwórz tabelę do przechowywania dokumentów:

CREATE TABLE documents (
                           id INT,
                           title VARCHAR,
                           content VARCHAR,
                           embedding ARRAY(FLOAT32)
);

Wstaw do tabeli przykładowe dokumenty:

INSERT INTO documents(id, title, content)
VALUES
    (1, 'A Brief History of AI', 'Artificial intelligence (AI) has been a fascinating concept of science fiction for decades...'),
    (2, 'Machine Learning vs. Deep Learning', 'Machine learning and deep learning are two subsets of artificial intelligence...'),
    (3, 'Neural Networks Explained', 'A neural network is a series of algorithms that endeavors to recognize underlying relationships...'),

Wygeneruj osadzenia:

UPDATE documents SET embedding = ai_embedding_vector(content) WHERE length(embedding) = 0;

Po uruchomieniu zapytania kolumna osadzenia w tabeli będzie zawierać wygenerowane osadzenia.

Osadzenia są przechowywane jako tablica wartości FLOAT32 w kolumnie osadzenia, której typem jest ARRAY(FLOAT32).

Możesz teraz używać tych osadzeń w różnych zadaniach przetwarzania języka naturalnego, na przykład do wyszukiwania podobnych dokumentów lub grupowania dokumentów na podstawie ich treści.

Sprawdź osadzenia:

SELECT length(embedding) FROM documents;
┌───────────────────┐
│ length(embedding) │
├───────────────────┤
│              1536 │
│              1536 │
│              1536 │
└───────────────────┘

Powyższe zapytanie pokazuje, że wygenerowane osadzenia mają długość 1536 (wymiarów) dla każdego dokumentu.