Η δημιουργία συμβολισμών των στίχων στη διαδικασία εκπαίδευσης ενός μοντέλου AI για τη δημιουργία ποίησης χρησιμοποιώντας τεχνικές TensorFlow και NLP εξυπηρετεί αρκετούς σημαντικούς σκοπούς. Το tokenization είναι ένα θεμελιώδες βήμα στην επεξεργασία φυσικής γλώσσας (NLP) που περιλαμβάνει την κατανομή ενός κειμένου σε μικρότερες μονάδες που ονομάζονται tokens. Στο πλαίσιο των στίχων, το tokenization περιλαμβάνει τη διάσπαση των στίχων