Da ricordare
- Un modello linguistico genera testo un token alla volta, scegliendo tra continuazioni probabili.
- La temperatura regola quanto la scelta è prevedibile o varia.
- Il modello ottimizza la plausibilità del testo, non la sua verità.
Quando scrivi una domanda a un assistente conversazionale, la risposta compare parola dopo parola, come se qualcuno stesse scrivendo. In un certo senso è proprio così: il testo viene costruito un pezzo alla volta. Capire come avviene ogni passo ti dà un vantaggio concreto: sai quando fidarti e quando controllare.
Domanda: il modello legge le parole come le leggi tu?
Dal testo ai token
No. Prima di tutto il testo viene spezzato in token. Un token può essere una parola intera, un pezzo di parola o un segno di punteggiatura. Una parola comune come "casa" è spesso un token solo; una parola rara o lunga può essere divisa in tre o quattro pezzi. In italiano, in media, una parola corrisponde a poco più di un token.
Ogni token viene poi trasformato in un vettore, cioè una lunga lista di numeri. Durante l'addestramento questi vettori si dispongono in modo che token usati in contesti simili abbiano numeri simili. È così che il modello cattura, in forma statistica, il fatto che "gatto" e "cane" hanno qualcosa in comune.
Domanda: come viene scelta la prossima parola?
Una classifica di probabilità
Il modello riceve tutti i token del testo fin lì e calcola, per ogni token del suo vocabolario, una probabilità di essere il successivo. Il vocabolario contiene decine di migliaia di voci, quindi il risultato è una lunghissima classifica.
Testo fin qui: Genova si affaccia sul mar
Questa classifica nasce dall'addestramento. Il modello ha visto enormi quantità di testo e ha regolato i suoi pesi per prevedere bene il token successivo. Non ha memorizzato frasi intere, di solito: ha costruito regolarità statistiche su come le parole si susseguono.
Una volta scelto il token, viene aggiunto al testo e il ciclo riparte. Una risposta di trecento parole richiede qualche centinaio di questi giri.
Vale la pena notare che il modello non pianifica la frase intera prima di scriverla, almeno non nel senso in cui lo fai tu. Ogni token dipende da quelli già scritti. Se all'inizio la risposta prende una direzione sbagliata, i token successivi tendono a restare coerenti con quell'errore invece di correggerlo. Per questo chiedere al modello di ragionare per passi, o di ricontrollare la propria risposta, a volte migliora il risultato: gli dai più testo su cui appoggiarsi prima della conclusione.
Domanda: perché la stessa domanda dà risposte diverse?
Temperatura e scelta
Il modello non prende sempre il primo della classifica. Se lo facesse, i testi sarebbero ripetitivi e spesso si incastrerebbero in frasi circolari. Di solito si estrae un token a caso, rispettando le probabilità: i più probabili escono più spesso, ma non sempre.
La temperatura è il parametro che regola questa estrazione. Con una temperatura bassa la scelta si concentra sui primi posti e il testo diventa più prevedibile. Con una temperatura alta anche i token meno probabili hanno una chance, e il testo diventa più vario, a volte più creativo, a volte più strano. Esistono anche altri filtri, come scartare in partenza tutti i token sotto una certa soglia.
Ecco perché due richieste identiche possono produrre risposte diverse. Non è un difetto: è una conseguenza diretta del meccanismo.
Domanda: quanto si ricorda il modello di quello che hai scritto?
Il contesto e i suoi confini
Ogni modello ha una finestra di contesto: il numero massimo di token che può considerare in una volta. Tutto ciò che sta dentro la finestra, cioè la tua domanda, la conversazione precedente ed eventuali documenti allegati, influenza la classifica. Ciò che sta fuori non esiste per il modello.
Le finestre sono diventate molto ampie, ma non illimitate. Inoltre, anche dentro la finestra, le informazioni non pesano tutte allo stesso modo: in testi molto lunghi il modello può trascurare dettagli che stanno nel mezzo. Se una cosa è importante, ripeterla in modo chiaro aiuta.
C'è poi un confine temporale. Le conoscenze del modello si fermano alla data in cui sono stati raccolti i dati di addestramento. Alcuni sistemi integrano una ricerca sul web, ma è un'aggiunta esterna al modello, e la qualità dipende dalle fonti che trova.
Domanda: perché un testo convincente può essere falso?
Plausibile non vuol dire vero
Il modello è addestrato a produrre continuazioni plausibili. Nella maggior parte dei casi ciò che è plausibile è anche corretto, perché i testi di addestramento contengono soprattutto informazioni corrette. Ma quando il modello non ha dati sufficienti su un argomento, continua comunque a generare la sequenza più plausibile. Il risultato può essere un dato inventato, una citazione che non esiste, un riferimento normativo sbagliato.
Questi errori sono chiamati spesso allucinazioni. Il nome è fuorviante: il modello non vede cose che non ci sono, semplicemente non ha un meccanismo interno che distingua il vero dal verosimile. Lo stile resta sicuro anche quando il contenuto è debole.
- Diffida di numeri precisi, date e citazioni senza fonte.
- Chiedi da dove viene un'informazione e controlla che la fonte esista.
- Ricorda che un tono sicuro non è un indizio di correttezza.
Conoscere il meccanismo non toglie utilità a questi strumenti. Ti permette di usarli per ciò che fanno bene, come riformulare, riassumere, proporre una struttura, e di verificare tutto ciò che deve essere esatto.