TOKENIZE (Lakehouse v2)

Divide uma string em um array de termos usando o analisador especificado. Útil em cenários de pesquisa de texto completo.

Sintaxe do Analyze

func.tokenize('The quick brown fox', 'english')

Exemplos do Analyze

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

Sintaxe SQL

TOKENIZE(<str>[, <analyzer>])

Exemplos de SQL

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘