En metod för tokenization som använder Unicode-tecknet egenskaper för att skilja mellan token och avgränsare tecken.