टोकनाइज़ेशन - टोकनाइज़ेशन टेक्स्ट को छोटे भागों, जैसे शब्द या प्रतीकों में विभाजित करने की प्रक्रिया है, ताकि प्राकृतिक भाषा कार्यों में आसान विश्लेषण और प्रसंस्करण हो सके।