AutoML (Automated Machine Learning) è diventato, negli ultimi anni, un argomento di tendenza nel settore e nella ricerca accademica sull'AI. AutoML mostra un grande potenziale nella fornitura di soluzioni per l'AI nei settori regolamentati finalizzate all'offerta di risultati spiegabili e riproducibili. AutoML consente un maggiore accesso allo sviluppo dell'AI a coloro che non hanno il background teorico attualmente necessario per un ruolo nella data science. 

Ogni fase nell'attuale pipeline di prototipi della data science, come la pre-elaborazione dei dati, la progettazione delle caratteristiche e l'ottimizzazione degli iperparametri, deve essere eseguita manualmente da esperti di machine learning. In confronto, l'adozione di AutoML consente un processo di sviluppo più semplice con cui poche righe di codice possono generare il codice necessario per iniziare a sviluppare un modello di machine learning. 

Si può pensare ad AutoML - indipendentemente dal fatto che crei classificatori o addestri regressioni - come a un concetto di ricerca generalizzato, con algoritmi di ricerca specializzati per trovare le soluzioni ottimali per ogni elemento componente della pipeline di ML. Nel creare un sistema che consente l'automazione di sole tre parti fondamentali dell'automazione - progettazione delle caratteristiche, ottimizzazione degli iperparametri e ricerca dell'architettura neurale - AutoML promette un futuro in cui un machine learning democratizzato è una realtà. 

In una pipeline di data science, un team di data science deve seguire una procedura articolata in molti passaggi per creare un modello predittivo. Anche i team esperti di data scientist e specialisti di ML possono trarre vantaggio della maggiore velocità e trasparenza offerta da AutoML. Un data scientist deve partire da un'ipotesi, raccogliere il corretto set di dati, provare qualche visualizzazione dei dati, progettare funzioni extra per sfruttare tutto il segnale disponibile, addestrare un modello con iperparametri (link esterno a IBM) e, per un deep learning che sia all'avanguardia, deve progettare l'architettura ottimale per una DNN (Deep Neural Network), possibilmente su una GPU, se a sua disposizione.

Progettazione automatizzata delle caratteristiche

Una caratteristica dei dati è una parte dei dati di input per un modello di machine learning e la progettazione delle caratteristiche si riferisce al processo di trasformazione in cui un data scientist ricava nuove informazioni dai dati esistenti. La progettazione delle caratteristiche è uno dei processi chiave che aggiungono valore in un flusso di lavoro di ML, e delle caratteristiche valide fanno la differenza tra un modello con prestazioni accettabili e un modello con prestazioni eccezionali. Queste trasformazioni matematiche dei dati non elaborati vengono lette nel modello e fungono da fulcro del processo di machine learning. La progettazione automatizzata delle caratteristiche (automated feature engineering, AFE) (PDF 1,7 MB) (link esterno a IBM) è il processo di esplorazione dell'ambito delle possibili combinazioni di caratteristiche in modo meccanico piuttosto che manuale.

La progettazione manuale delle caratteristiche è una moderna alchimia che ha un grande costo in termini di tempo: la creazione di una singola caratteristica può spesso richiedere ore e il numero di caratteristiche richieste per un punteggio minimo di accuratezza, per non parlare di una base di accuratezza a livello di produzione, può essere nell'ordine delle centinaia. Automatizzando l'esplorazione di uno spazio di caratteristiche, AutoML riduce il tempo che un team di data science dedica a questa fase da giorni a minuti.

Ridurre le ore di intervento manuale da parte di un data scientist non è l'unico vantaggio della progettazione delle caratteristiche automatizzata. Le caratteristiche generate sono spesso chiaramente interpretabili. In settori strettamente regolamentati come l'assistenza sanitaria o la finanza, questa spiegabilità (link esterno a IBM) è importante perché abbassa le barriere all'adozione dell'AI attraverso l'interpretabilità. Inoltre, un data scientist o un analista trae vantaggio della chiarezza di queste caratteristiche perché rendono i modelli di alta qualità più interessanti e utilizzabili. Le caratteristiche generate automaticamente hanno anche il potenziale di trovare nuovi KPI da monitorare e su cui agire per un'organizzazione. Una volta che un data scientist ha completato la progettazione delle caratteristiche, deve ottimizzare i propri modelli con una selezione strategica delle caratteristiche.

Ottimizzazione automatizzata degli iperparametri

Gli iperparametri sono una parte degli algoritmi di machine learning meglio comprensibili paragonandoli a delle leve per ottimizzare le prestazioni del modello, anche se spesso le regolazioni incrementali hanno un impatto fuori misura. Nella modellazione di data science in piccola scala, gli iperparametri possono essere impostati manualmente e ottimizzati con facilità mediante prova ed errore.

Per le applicazioni di deep learning, il numero di iperparametri cresce in modo esponenziale, il che pone la loro ottimizzazione al di là delle capacità di un team di data science di realizzarla in modo manuale e tempestivo. L'ottimizzazione automatizzata degli iperparametri (hyperparameter optimization, HPO) (link esterno a IBM) solleva i team dalla grande responsabilità di esplorare e ottimizzare gli iperparametri nell'intero spazio degli eventi e consente invece loro di iterare e sperimentare su caratteristiche e modelli.

Un altro punto a favore dell'automazione del processo di machine learning è che ora i data scientist possono concentrarsi sul perché della creazione del modello piuttosto che sul come.Considerando le quantità estremamente grandi di dati disponibili per molte aziende e il numero enorme di domande a cui si può rispondere con questi dati, un team di analisti può prestare attenzione a quali aspetti del modello devono essere ottimizzati, come il classico problema di ridurre al minimo i falsi negativi nei test medici.

NAS (Neural Architecture Search)

Il processo più complesso e che richiede più tempo nel deep learning è la creazione dell'architettura neurale. I team di data science trascorrono molto tempo a selezionare i livelli appropriati e i tassi di apprendimento che alla fine sono spesso solo per i pesi nel modello, come in molti modelli linguistici. La ricerca dell'architettura neurale (Neural Architecture Search, NAS) (link esterno a IBM) è stata descritta come "l'utilizzo delle reti neurali per progettare le reti neurali" ed è una delle aree più ovvie in cui il ML può trarre vantaggio dall'automazione.

Le ricerche NAS iniziano con una scelta su quali architetture provare. Il risultato di NAS è determinato dalla metrica rispetto alla quale viene giudicata ciascuna architettura. Ci sono diversi algoritmi comuni da utilizzare in una ricerca di architettura neurale. Se il numero potenziale di architetture è piccolo, le scelte per l'esecuzione di test possono essere fatte in modo casuale. Gli approcci basati sul gradiente, in cui lo spazio di ricerca discreto viene trasformato in una rappresentazione continua, hanno dimostrato di essere molto efficaci. I team di data science possono anche provare algoritmi evolutivi in cui le architetture vengono valutate a caso e le modifiche vengono applicate lentamente, propagando le architetture secondarie che hanno più successo ed eliminando quelle che non ne hanno.

Le NAS sono uno degli elementi chiave di AutoML che promettono di democratizzare l'AI. Queste ricerche, però, spesso hanno un'impronta di carbonio molto alta. Un esame di questi compromessi non è ancora stata eseguita e l'ottimizzazione per il costo ecologico è un'area di ricerca in corso negli approcci NAS.