FPPisanti

AI

AI for Dummies #1: cos'è un token? L'AI non legge parole, legge token

1 nov 2026

Taccuino e caffè vicino alla finestra

Lui non legge parole: legge token. Quando scrivi a ChatGPT, il modello non legge la tua frase come la leggi tu. Prima la trasforma in token, i piccoli pezzi di testo che i modelli di OpenAI usano per elaborare quello che scrivi. E una parola, quasi mai, è uguale a un token.

È il primo episodio di AI for Dummies, la rubrica in cui spiego le parole dell'intelligenza artificiale a chi parte da zero. La fonte principale è la guida ufficiale di OpenAI sui token.

Cos'è un token, in una frase

Un token è il pezzetto di testo con cui un modello di AI legge e scrive. Non lavora a parole intere e nemmeno lettera per lettera: lavora a token. Secondo OpenAI, un token può essere un carattere, una parte di parola, una parola intera o un segno di punteggiatura. Anche gli spazi influenzano il modo in cui il testo viene diviso.

Il paragone: i mattoncini

Immagina il testo come una costruzione fatta di mattoncini. Prima di elaborarla, il modello smonta la frase in pezzi (i token), li elabora e poi risponde costruendo altri pezzi, uno dopo l'altro. OpenAI descrive il processo in tre passaggi:

  1. il testo che invii viene diviso in token;
  2. il modello elabora quei token;
  3. il modello genera token in uscita: il testo che ricevi e, nei modelli che “ragionano”, anche token di ragionamento interni che non vedi come risposta.

Un esempio reale in italiano

Ho passato la frase “Il gatto dorme sul divano.” al tokenizer o200k_base della libreria open source tiktoken di OpenAI. Risultato: 5 parole, 9 token.

Il | ·gat | to | ·dorm | e | ·sul | ·div | ano | . (il “·” indica lo spazio che fa parte del token)

Con lo stesso tokenizer, la frase inglese “The cat sleeps on the sofa.” dà 6 parole e 7 token. Con un altro modello o un'altra codifica i numeri possono cambiare: OpenAI precisa che lo stesso testo può dare conteggi diversi a seconda del modello, della codifica e della lingua.

Le stime di OpenAI (valide per l'inglese)

  • 1 token corrisponde a circa 4 caratteri;
  • 1 token corrisponde a circa tre quarti di parola;
  • 100 token corrispondono a circa 75 parole.

Sono stime, non conteggi esatti, e valgono per testi in inglese: la stessa guida avverte che le altre lingue possono avere un rapporto diverso tra caratteri, parole e token. L'esempio del gatto lo mostra bene. Per l'italiano conviene misurare con uno strumento, invece di usare un rapporto fisso (più sotto ti spiego come).

Spazi e maiuscole contano

Una stessa parola può essere divisa in token diversi a seconda di come è scritta, delle maiuscole e del testo che la circonda. L'esempio di OpenAI è “red”, “Red” e “ red” (con uno spazio davanti): per noi sono quasi la stessa cosa, per il modello sono tre testi diversi e la codifica può rappresentarli in modo diverso.

Perché i token contano davvero

1. Il limite di contesto

Ogni modello ha una finestra di contesto: il numero massimo di token con cui può lavorare in una richiesta. È come la memoria di lavoro della conversazione. Il valore cambia da modello a modello e si trova nella sua documentazione. Se il testo è troppo lungo, OpenAI suggerisce di:

  • accorciare o riformulare la richiesta;
  • togliere il contesto inutile o ripetuto;
  • dividere i testi lunghi in parti più piccole;
  • riassumere o preparare il testo prima di inviarlo.

2. La lunghezza delle risposte

Oltre alla finestra di contesto, i modelli hanno anche un limite di output, cioè un tetto ai token che possono generare. Nei modelli che ragionano, bisogna lasciare spazio sia al ragionamento sia alla risposta visibile.

Attenzione a non confondere questi limiti con altri due: i limiti di frequenza delle richieste (rate limit) e i limiti mensili di utilizzo o di spesa delle API. Sono cose separate.

3. I prezzi, ma solo per le API

Una precisazione importante: i prezzi a token riguardano solo le API, cioè l'uso dei modelli da parte di sviluppatori e aziende che li collegano ai propri software o siti. Non riguardano l'abbonamento a ChatGPT. Se usi ChatGPT gratis o con un abbonamento come Plus, i listini a token delle API non ti riguardano: OpenAI spiega che ChatGPT e la piattaforma API hanno sistemi di fatturazione separati e che l'uso delle API non è incluso nel piano Plus e si paga a parte.

Per chi usa le API, invece, la tariffa a token dipende dal modello e dal tipo di token: quelli in ingresso (ciò che mandi), quelli in uscita (ciò che il modello genera) e quelli in ingresso in cache (riutilizzati) possono avere prezzi diversi. I token di ragionamento dei modelli che ragionano non compaiono nella risposta, ma contano come output e si pagano come output: una risposta breve può quindi consumare più token di quanto sembri.

Un prezzo più basso per milione di token, inoltre, non garantisce un costo totale più basso: modelli diversi possono dividere lo stesso testo in un numero diverso di token e generare risposte o ragionamenti di lunghezza diversa. Il consiglio di OpenAI è provare compiti realistici invece di confrontare solo i listini.

Come contare i token

  • Per provare a mano: il Tokenizer di OpenAI mostra come un testo viene diviso in token. Incolla una frase in italiano e una in inglese e guarda la differenza con i tuoi occhi.
  • Per chi programma: la libreria tiktoken conta i token di un testo semplice, scegliendo la codifica del modello che usi (per esempio con tiktoken.encoding_for_model(model)).
  • Per una richiesta API completa: il conteggio del solo testo non include tutto. Struttura dei messaggi, strumenti, immagini e file possono aumentare i token in ingresso. Per la Responses API, OpenAI mette a disposizione un'API apposita per contare l'input completo. Nessun conteggio dell'input, però, può prevedere quanti token userà la risposta.
  • Dopo la richiesta: ogni risposta dell'API riporta i token usati (input, output e totale), e nella Usage Dashboard si vede il consumo nel tempo.

In breve

  • L'AI non legge parole, legge token: pezzetti di testo che possono essere caratteri, parti di parola, parole intere o punteggiatura.
  • In inglese, 100 token sono circa 75 parole; in italiano il rapporto può cambiare (“Il gatto dorme sul divano.”: 5 parole, 9 token con o200k_base).
  • I token decidono quanto testo puoi dare al modello e quanto può essere lunga la risposta.
  • Il prezzo a token vale per chi usa le API, non per chi ha l'abbonamento a ChatGPT.
  • Per saperlo con precisione, non stimare: conta con il Tokenizer o con tiktoken.

Fonti

Ogni giorno racconto l'intelligenza artificiale utile per chi lavora, senza giri di parole. Seguimi su Instagram @fpisanti_, su X @Pisantifra e su TikTok @pisantifrancesco.