tokenizzazione - La tokenizzazione è il processo di suddividere il testo in unità più piccole, come parole o simboli, per facilitare l'analisi e l'elaborazione nelle attività di elaborazione del linguaggio naturale.