TOKENIZE（Lakehouse v2）

指定したアナライザーを使って文字列を用語の配列にトークン化します。全文検索のシナリオに便利です。

Analyze 構文

func.tokenize('The quick brown fox', 'english')

Analyze の例

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

SQL 構文

TOKENIZE(<str>[, <analyzer>])

SQL の例

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘