TOKENIZE (Lakehouse v2)

Divide una cadena en una matriz de términos mediante el analizador especificado. Es útil en escenarios de búsqueda de texto completo.

Sintaxis de Analyze

func.tokenize('The quick brown fox', 'english')

Ejemplos de Analyze

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

Sintaxis de SQL

TOKENIZE(<str>[, <analyzer>])

Ejemplos de SQL

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘