トークン化 - トークン化は、テキストを単語や記号などの小さな単位に分割して、自然言語処理の分析と処理を容易にするプロセスです。