O segmentare program de text care scanează textul şi determină dacă şi atunci când o serie de caractere poate fi recunoscută ca un token.