TOKENIZE (Lakehouse v2)

Divide uma cadeia numa matriz de termos com o analisador especificado. Útil em cenários de pesquisa de texto integral.

Sintaxe do Analyze

func.tokenize('The quick brown fox', 'english')

Exemplos do Analyze

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

Sintaxe SQL

TOKENIZE(<str>[, <analyzer>])

Exemplos SQL

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘