L’innovazione chiave del modello trasformatore consiste nel non dover fare affidamento su reti neurali ricorrenti (RNN) o reti neurali convoluzionali (CNN), approcci alle reti neurali che presentano notevoli inconvenienti. I trasformatori elaborano le sequenze di input in parallelo, rendendole estremamente efficienti per l'addestramento e l'inferenza, perché non è possibile velocizzare le cose semplicemente aggiungendo più GPU. I modelli trasformatori richiedono meno tempo di addestramento rispetto alle precedenti architetture di reti neurali ricorrenti come la memoria a lungo termine (LSTM).

Le RNN e la LSTM risalgono rispettivamente agli anni '20 e agli anni '90. Queste tecniche calcolano ogni componente di un input in sequenza (ad es. parola per parola), quindi il calcolo può richiedere molto tempo. Inoltre, entrambi gli approcci si scontrano con le limitazioni nel mantenere il contesto in presenza di una lunga "distanza" tra le informazioni in un input.

I modelli trasformatori introducono due innovazioni principali. Consideriamo queste due innovazioni nel contesto della previsione del testo.

1. Codifica posizionale: invece di guardare ogni parola nell'ordine in cui appare in una frase, le viene assegnato un numero univoco. In questo modo abbiamo le informazioni sulla posizione di ciascun token (parti dell'input come parole o parti di una sottoparola in NLP) nella sequenza, consentendo al modello di considerare le informazioni sequenziali della sequenza.

2. Auto-attenzione: l'attenzione è un meccanismo che calcola i pesi di ogni parola in una frase in relazione a ogni altra parola della frase stessa, quindi il modello può prevedere le parole che potrebbero essere utilizzate in sequenza. Questa comprensione viene appresa nel tempo, quando il modello viene addestrato su una grande quantità di dati. Il meccanismo di auto-attenzione consente a ciascuna parola di prestare attenzione a tutte le altre parole nella sequenza in parallelo, soppesandone l'importanza per il token corrente. In questo modo, si può dire che i modelli di machine learning possono "imparare" le regole della grammatica, in base alle probabilità statistiche di come le parole sono tipicamente utilizzate nel linguaggio.

I modelli trasformatori funzionano elaborando i dati di input, che possono essere sequenze di token o altri dati strutturati, attraverso una serie di livelli che contengono meccanismi di auto-attenzione e reti neurali feedforward. L’idea alla base del funzionamento dei modelli trasformatori può essere suddivisa in diversi passaggi chiave.

Immaginiamo che tu debba tradurre una frase dall'inglese in francese. Questi sono i passaggi per eseguire questa attività con un modello trasformatore.

1. Incorporamento dell'input: la frase di input viene trasformata per la prima volta in rappresentazioni numeriche chiamate incorporamenti, che raccolgono il significato semantico dei token nella sequenza di input. Per le sequenze di parole, questi incorporamenti possono essere appresi durante l'addestramento o ottenuti da incorporamenti di parole pre-addestrati.

2. Codifica posizionale: la codifica posizionale viene in genere introdotta come un insieme di valori o vettori aggiuntivi che vengono integrati negli incorporamenti dei token prima di inserirli nel modello trasformatore. Queste codifiche posizionali presentano modelli specifici che codificano le informazioni sulla posizione.

3. Attenzione multitesta: l'auto-attenzione opera in più "teste di attenzione" per cogliere diversi tipi di relazioni tra i token. Le funzioni Softmax, un tipo di funzione di attivazione, vengono utilizzate per calcolare i pesi di attenzione nel meccanismo di auto-attenzione.

4. Normalizzazione dei livelli e connessioni residue: il modello utilizza la normalizzazione dei livelli e le connessioni residue per stabilizzare e velocizzare l'addestramento.

5. Reti neurali feedforward: l'output del livello di auto-attenzione viene passato attraverso i livelli feedforward. Queste reti applicano trasformazioni non lineari alle rappresentazioni dei token, consentendo al modello di acquisire pattern e relazioni complessi nei dati.

6. Layer impilati: in genere, i trasformatori sono costituiti da più layer impilati uno sopra l'altro. Ciascun layer elabora l'output dello strato precedente, perfezionando gradualmente le rappresentazioni. L'impilamento di più layer consente al modello di acquisire caratteristiche gerarchiche ed astratte nei dati.

7. Livello di output: in attività da sequenza a sequenza come la traduzione automatica neurale, è possibile aggiungere un modulo decodificatore separato sopra l'encoder per generare la sequenza di output.

8. Addestramento: i modelli trasformatori vengono addestrati utilizzando l'apprendimento supervisionato, in cui imparano a minimizzare una funzione di perdita che quantifica la differenza tra le previsioni del modello e la verità di base per una data attività. In genere, l'addestramento prevede tecniche di ottimizzazione come Adam o la discesa del gradiente stocastica (SGD).

9. Inferenza: dopo la formazione, il modello può essere utilizzato per l'inferenza sui nuovi dati. Durante l'inferenza, la sequenza di input viene passata attraverso il modello pre-addestrato e il modello genera previsioni o rappresentazioni per l'attività specificata.