SentencePiece - SentencePieceは自然言語処理のための教師なしのテキストトークナイザーとデトークナイザーで、複数の言語で機能するサブワード単位を作成します。