Uno dei problemi emersi in questi anni dopo l’exploit dell’Intelligenza Artificiale è la quantità di dati necessari per allenare un modello di AI. Quello che non si vede quando facciamo un ricerca su ChatGPT è il dispendio di materiali, tempo e risorse energetiche e idriche alle sue spalle: più l’allenamento è lungo e fondato su larghe basi di dati, più sono i consumi collaterali. 

Esistono delle alternative, però, tecniche di allenamento più efficienti in termini di tempo e risorse. 

Hai mai sentito parlare di Knowledge Distillation?

O distillazione della conoscenza, se preferisci. Questo metodo di machine learning si focalizza sul trasferimento delle conoscenze da un modello complesso e di grandi dimensioni, detto modello insegnante (teacher model), a un modello più contenuto, chiamato modello studente (student model).

Il processo di Knowledge Distillation non è nato l’altro giorno. In realtà è stato ipotizzato già nel 2015 da Geoffrey Hinton, Oriol Vinyals e Jeff Dean con il saggio “Distilling the Knowledge in a Neural Network”. Perché, allora, se ne sente parlare solo adesso?

La risposta è: DeepSeek. L’Intelligenza Artificiale cinese per antonomasia, che negli scorsi mesi ha smosso le acque del calmo oceano USA, ha messo in evidenza l’inefficienza di colossi come OpenAI e Anthropic. 

DeepSeek, infatti, si è servita della tecnica di Knowledge Distillation per sfondare sul mercato con un prodotto potente quanto i suoi competitor americani, ma infinitamente meno costoso in termini ambientali e temporali. Se vuoi conoscere meglio le caratteristiche di DeepSeek, leggi questo articolo: troverai dettagli sulla sua architettura e un paragone con ChatGPT. 

Come funziona la Distillazione della Conoscenza?

Possiamo riassumere il processo di distillazione in tre step principali:

1. il modello insegnante viene addestrato con enormi quantità di dati
2. il modello insegnante fornisce, poi, al modello studente non solo le etichette di output, ma anche le relazioni probabilistiche tra ogni classe semantica, chiamate “soft targets”
3. il modello studente impara dall’insegnante la logica con cui costruire le risposte da dare agli utenti, sulla base dei dati di training generati dal modello insegnante

E la supervisione umana? Ci può essere, ma in forma ridotta a favore del lavoro svolto dal modello insegnante. Il processo di Knowledge Distillation messo a punto da DeepSeek, per esempio, deriva per il 40% da annotazioni manuali da parte di esseri umani. Questo per mantenere il controllo sui valori umani espressi dall’Intelligenza Artificiale e sull’accuratezza delle risposte.

Distillare la conoscenza è una tecnica efficace?

I pro della Knowledge Distillation sono diversi. I principali, come abbiamo detto, sono:

• l’efficienza energetica
• la riduzione dei costi in termini di training

Sono dei vantaggi importanti, considerando l’investimento esorbitante affrontato dai più famosi Large Language Models, come ChatGPT. Nel 2022 OpenAI ha speso circa 540 milioni di dollari! Senza tralasciare la loro impronta ecologica: i ricercatori della University of Massachusetts Amherst ritengono che la creazione di un singolo modello di AI possa disperdere nell’atmosfera fino a 300 tonnellate di CO2 (più o meno 300.000 lavaggi in lavastoviglie, considerando che 1 lavaggio produce circa 1 kg di anidride carbonica). 

Ci sono, però, anche alcuni svantaggi:

• i modelli studente non hanno le stesse dimensioni dei loro modelli insegnati e, quindi, potrebbero non essere capaci di svolgere la stessa quantità di compiti di un modello di grandi dimensioni
• il modello insegnante potrebbe trasferire al modello studente dati distorti con bias ed errori
• a chi vanno i diritti di copyright? È possibile distillare conoscenza da un modello già esistente? Su questo punto è in atto una diatriba tra DeepSeek e OpenAI

Una cosa è certa, i modelli distillati sono estremamente specifici. Forse non saranno il futuro dell’Intelligenza Artificiale, ma giocheranno comunque un ruolo interessante: tanti modelli per svolgere altrettanti compiti o solo alcuni grandi modelli per coprire un po’ tutte le esigenze? Staremo a vedere!