TOKENIZE (Lakehouse v2)

지정한 분석기로 문자열을 용어 배열로 토큰화합니다. 전체 텍스트 검색 시나리오에 유용합니다.

Analyze 구문

func.tokenize('The quick brown fox', 'english')

Analyze 예제

func.tokenize('The quick brown fox', 'english')

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘

SQL 구문

TOKENIZE(<str>[, <analyzer>])

SQL 예제

SELECT TOKENIZE('The quick brown fox', 'english');

┌─────────────────────────┐
│ ["quick","brown","fox"] │
└─────────────────────────┘