Large Language Model
spiegati senza enfasi

Un LLM è una rete neurale di tipo transformer con miliardi o migliaia di miliardi di parametri, addestrata a prevedere il prossimo token (grosso modo, il prossimo frammento di parola) data tutta la sequenza precedente. È l'intero obiettivo di addestramento.

Il risultato sorprendente, dimostrato ripetutamente dal 2020, è che scalare a sufficienza questo singolo obiettivo produce modelli in grado di tradurre lingue, scrivere codice, risolvere problemi di matematica e seguire istruzioni complesse, senza essere mai stati addestrati esplicitamente su quei task.

I modelli base sono addestrati puramente sulla previsione del prossimo token su testo web. Completano i pattern ma non seguono le istruzioni in modo naturale.

I modelli instruct sono modelli base affinati su coppie istruzione-risposta, spesso con apprendimento per rinforzo da feedback umano (RLHF). È ciò che è la maggior parte dei chatbot consumer.

I modelli di ragionamento aggiungono una fase di addestramento sulla catena di pensiero che permette loro di pensare prima di rispondere, scambiando velocità per accuratezza su problemi difficili. I modelli multimodali estendono l'architettura per leggere anche immagini, audio o video come input.