TOKENIZE (Lakehouse v2)

Zerlegt eine Zeichenfolge mit dem angegebenen Analyzer in ein Array von Begriffen. Nützlich für Szenarien der Volltextsuche.

Analyze-Syntax

func.tokenize('The quick brown fox', 'english')

Analyze-Beispiele

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

SQL-Syntax

TOKENIZE(<str>[, <analyzer>])

SQL-Beispiele

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘