詞法分析- 維基百科，自由的百科全書 - Wikipedia

跳到 單詞生成器 - [編輯]. 單詞化（Tokenization）即將輸入字元串分割為單詞、進而將單詞進行分類的過程。生成的單詞隨後便被用來進行語法分析。 例如對於如下字元 ...

zh.wikipedia.org