TOKENIZE (Lakehouse v2)

Dzieli ciąg na tablicę terminów za pomocą wskazanego analizatora. Przydatna w scenariuszach wyszukiwania pełnotekstowego.

Składnia Analyze

func.tokenize('The quick brown fox', 'english')

Przykłady Analyze

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

Składnia SQL

TOKENIZE(<str>[, <analyzer>])

Przykłady SQL

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘