TOKENIZE (Lakehouse v2)

Découpe une chaîne en un tableau de termes à l’aide de l’analyseur spécifié. Utile dans les scénarios de recherche en texte intégral.

Syntaxe Analyze

func.tokenize('The quick brown fox', 'english')

Exemples Analyze

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

Syntaxe SQL

TOKENIZE(<str>[, <analyzer>])

Exemples SQL

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘