Python è un linguaggio di programmazione di alto livello per scopi generali ampiamente usato nella data science, il che lo rende una scelta intuitiva per i data scientist che estendono il proprio lavoro alla modellazione attiva di reti di deep learning. La semplice sintassi di Python è facile da leggere, richiede poco tempo per l'apprendimento e può essere eseguita su qualsiasi sistema operativo, inclusi Windows, macOS, Linux o Unix. Python è stato il secondo linguaggio di programmazione più usato su GitHub da oltre tre anni, dopo aver superato Java nel 2019. La sua popolarità continua a crescere, con un aumento del 22,5% nel 2022¹.

Grazie a questa flessibilità e semplicità è nata una solida community online di sviluppatori Python che collaborano a risorse didattiche e a un'ampia gamma di librerie e API Python, come Numerical Python (NumPy) per le operazioni matematiche, Pandas per la manipolazione dei dati o matplotlib per la visualizzazione dei dati. Questa community ha anche prodotto una grande quantità di librerie Pytorch che riducono la monotonia e le incertezze di codifica per il machine learning, alleggerendo gli sviluppatori e i data scientist che così possono concentrarsi sull'innovazione piuttosto che sulla scrittura di attività routinarie.

In qualsiasi algoritmo di machine learning, anche quelli applicati a informazioni apparentemente non numeriche come suoni o immagini, i dati devono essere rappresentati numericamente. In PyTorch ciò viene ottenuto tramite tensori che fungono da unità fondamentali di dati utilizzate per il calcolo sulla piattaforma.

Nell'ambito del machine learning, un tensore è un insieme multidimensionale di numeri che funziona come un dispositivo matematico di contabilità. Dal punto di vista linguistico, “tensore” è un termine generico che si riferisce ad alcune entità matematiche più familiari:

• Uno scalare è un tensore adimensionale, contenente un singolo numero.
• Un vettore è un tensore monodimensionale contenente più scalari dello stesso tipo. Una tupla è un tensore monodimensionale contenente diversi tipi di dati.
• Una matrice è un tensore bidimensionale contenente più vettori dello stesso tipo.
• I tensori con tre o più dimensioni, come i tensori tridimensionali usati per rappresentare le immagini RGB negli algoritmi di computer vision, sono collettivamente denominati tensori dimensionali.

I tensori di PyTorch funzionano in modo simile ai ndarray usati in NumPy, ma a differenza dei ndarray, che possono essere eseguiti solo su unità di elaborazione centrali (CPU), i tensori possono essere eseguiti anche su unità di elaborazione grafica (GPU). Le GPU consentono un calcolo notevolmente più veloce rispetto alle CPU, il che rappresenta un grande vantaggio dati gli enormi volumi di dati e l'elaborazione parallela tipici del deep learning.

Oltre a codificare gli input e gli output di un modello, i tensori di PyTorch codificano anche i parametri del modello: pesi, pregiudizi e gradienti che vengono "appresi" nella machine learning. Questa proprietà dei tensori consente la differenziazione automatica, una delle funzioni più importanti di PyTorch.

PyTorch usa i moduli come elementi costitutivi dei modelli di deep learning, il che consente la costruzione rapida e semplice di reti neurali senza il noioso lavoro di codifica manuale di ogni algoritmo.

 I moduli possono, come spesso accade, contenere altri moduli nidificati. Oltre a consentire la creazione di reti neurali multistrato più elaborate, ciò consente anche di salvare facilmente questi complessi modelli di deep learning come un singolo modulo denominato e di trasferirli tra diverse macchine, CPU o GPU. I modelli PyTorch possono anche essere eseguiti in ambienti non Python, come C++, utilizzando Torchscript (link esterno a ibm.com), contribuendo a colmare il divario tra la ricerca dei prototipi e l'implementazione della produzione.

 In generale, esistono tre classi principali di moduli usate per creare e ottimizzare modelli di deep learning in PyTorch:

• I moduli NN vengono distribuiti come livelli di una rete neurale.Il pacchetto torch.nn contiene un'ampia libreria di moduli che eseguono operazioni comuni come convoluzioni, pooling e regressione.Ad esempio, torch.nn.Linear(n,m) chiama un algoritmo di regressione lineare con n input e m output (i cui input e parametri iniziali vengono quindi stabiliti nelle righe di codice successive).

• Il modulo di autograd fornisce un modo semplice per calcolare automaticamente i gradienti, usato per ottimizzare i parametri del modello attraverso la discesa del gradiente, per qualsiasi funzione gestita all'interno delle reti neurali. L'aggiunta di qualsiasi tensore con requires_grad=True segnala ad autograd che ogni operazione su quel tensore deve essere tracciata, il che abilita la differenziazione automatica.

• I moduli Optim applicano algoritmi di ottimizzazione a tali gradienti. Torch.optim fornisce moduli per vari metodi di ottimizzazione, come la discesa stocastico del gradiente (SGD) o la propagazione della radice valore quadratico medio (RMSprop), per soddisfare specifiche esigenze di ottimizzazione.

I grafici di calcolo dinamico (DCG) sono il modo in cui i modelli di deep learning vengono rappresentati in PyTorch. Parlando in modo astratto, i grafici di calcolo mappano il flusso di dati tra le diverse operazioni in un sistema matematico: nel contesto del deep learning, traducono essenzialmente il codice di una rete neurale in un diagramma di flusso che indica le operazioni eseguite in ciascun nodo e le dipendenze tra diversi strati nella rete—la disposizione di fasi e sequenze che trasformano i dati di input in dati di output.

Ciò che differenzia i grafici di calcolo dinamici (come quelli usati in PyTorch) dai grafici di calcolo statici (come quelli usati in TensorFlow) è che i DCG rinviano la specifica esatta dei calcoli e delle relazioni tra di essi fino al momento dell'esecuzione. In altre parole, mentre un grafico di calcolo statico richiede che l'architettura dell'intera rete neurale sia completamente determinata e compilata per funzionare, i DCG possono essere iterati e modificati rapidamente.

Ciò rende i DCG particolarmente utili per il debug e la prototipazione, poiché specifiche porzioni del codice di un modello possono essere modificate o eseguite in isolamento senza dover reimpostare l'intero modello—il che, per i modelli di deep learning molto grandi usati per sofisticate attività di computer vision e NLP, può essere uno spreco di tempo e risorse computazionali. I vantaggi di questa flessibilità comprendono anche l'addestramento del modello, poiché i grafici di calcolo dinamico possono essere facilmente generati al contrario durante la retropropagazione.

Mentre la loro struttura fissa può consentire una maggiore efficienza computazionale, i grafici computazionali statici hanno una flessibilità limitata: ad esempio, la creazione di un modello che usa un numero variabile di strati a seconda dei dati di input—come una rete neurale convoluzionale (CNN) in grado di elaborare immagini di dimensioni diverse—è proibitivamente difficile con i grafici statici.

Un metodo ampiamente usato per l'addestramento di reti neurali, in particolare nell'apprendimento supervisionato, è la retropropagazione. In primo luogo, in un passaggio avanti, un modello è alimentato da alcuni input (x) e prevede alcuni output (y); lavorando all'indietro da tale output, viene usata una funzione di perdita per misurare l'errore delle previsioni del modello a diversi valori di x. Differenziando la funzione di perdita per trovarne la derivata, la discesa del gradiente può essere usata per regolare i pesi nelle reti neurali, uno strato alla volta.

Il modulo autograd di PyTorch alimenta la sua tecnica di differenziazione automatica usando una formula di calcolo chiamata regola della catena, che calcola i derivati complessi dividendoli in derivati più semplici e combinandoli in un secondo momento. Autograd calcola e registra automaticamente i gradienti per tutte le operazioni eseguite in un grafico computazionale, riducendo notevolmente il lavoro di retropropagazione. 

Quando si esegue un modello che è già stato addestrato, autograd diventa un uso non necessario delle risorse computazionali. L'aggiunta di qualsiasi operazione di tensore con requires_grad=False segnala a PyTorch l'interruzione dei gradienti di rilevamento.

Lavorare con dataset di grandi dimensioni necessari per istruire modelli di deep learning può essere complesso e impegnativo dal punto di vista computazionale. PyTorch fornisce due primitive di dati, dataset e dataloader, per facilitare il caricamento dei dati e rendere il codice più facilmente leggibile.

• torch.utils.data.Dataset memorizza gli esempi di dati e le relative etichette corrispondenti
• torch.utils.data.Dataloader avvolge un iterabile—un oggetto su cui è possibile operare—intorno al set di dati per consentire un facile accesso ai campioni