TOKENIZE (Lakehouse v2)

使用指定的分析器将字符串分词为词项数组，适用于全文搜索场景。

Analyze 语法

func.tokenize('The quick brown fox', 'english')

Analyze 示例

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

SQL 语法

TOKENIZE(<str>[, <analyzer>])

SQL 示例

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘