Ricordi DeepSeek? L’AI cinese che qualche tempo fa ha scosso le acque dell’ecosistema dell’Intelligenza Artificiale americana? Più economica, più efficiente: DeepSeek è entrata sul mercato mettendo in bella mostra i suoi vantaggi competitivi. 

Competitivi per davvero! Perché nulla può contro la schiacciante evidenza dei costi di allenamento nettamente inferiori rispetto a quelli contro cui devono scontrarsi le AI americane. 

Il segreto del successo di DeepSeek? La knowledge distillation. 

Cos’è la Knowledge Distillation?

Si tratta di un metodo di machine learning che “filtra” le informazioni già presenti su altri modelli di AI. Alla base c’è il trasferimento delle conoscenze da un modello complesso e di grandi dimensioni, chiamato modello insegnante (teacher model), a un modello più piccolo, definito modello studente (student model).

Ecco come funziona. Per prima cosa il modello insegnante viene addestrato con ingenti quantità di dati e poi fornisce al modello studente le relazioni probabilistiche tra ogni classe semantica, dette “soft targets” e le etichette di output.

A questo punto, il modello studente impara dall’insegnante la logica che sta dietro la costruzione delle risposte da dare agli utenti, sulla base dei dati di allenamento prodotti dal modello insegnante.

Il risultato? Il modello studente riesce a replicare il comportamento del proprio insegnante, impiegando meno risorse nella fase di allenamento. Se vuoi sapere più nel dettaglio i pro e i contro del processo di knowledge distillation, leggi questo articolo. 

I metodi per fare Knowledge Distillation

La distillazione di conoscenza è strategica per ottimizzare l’implementazione di modelli AI laddove le risorse siano limitate, come nel caso di dispositivi mobili o edge computing. In base agli obiettivi da raggiungere, esistono dei metodi da utilizzare. 

Metodi basati sulle risposte

Si focalizzano sugli output finali del modello insegnante, utilizzando distribuzioni di probabilità “morbide” (soft targets) e una temperatura elevata per ottenere informazioni più variegate da ogni elemento di addestramento.

Tutto questo aumenta l’entropia delle previsioni del modello insegnante (ovvero le sue previsioni non sono certe al 100%). Perché? Perché questo rende più ricchi gli esempi forniti al modello studente. Ad esempio, un’immagine classificata come “bicicletta” potrebbe avere una probabilità del 70% di essere effettivamente una bicicletta, il 25% di essere un monopattino e il 5% di essere un motorino.

Metodi basati sulle caratteristiche

Una rete neurale ha dei livelli intermedi, in cui dalle informazioni trasmesse vengono estratte delle caratteristiche e degli schemi che, livello dopo livello, aiutano a migliorare l’efficacia dell’output. 

In questi metodi di Knowledge Distillation, l’obiettivo è quello di far apprendere al modello studente le stesse caratteristiche apprese dal modello insegnante.

Metodi basati sulle relazioni

Questi metodi non si concentrano sull’output finale, ma sulle relazione tra diversi livelli di caratteristiche. Quindi il modello studente non si limita ad apprendere le caratteristiche da modello insegnante, ma anche la logica che intercorre tra un livello e l’altro. 

DiXtill

Si tratta di un metodo innovativo di Knowledge Distillation a partire da Large Language Model. Alla sua base c’è un’Intelligenza Artificiale eXplainable (XAI) che fornisce spiegazioni al modello studente. 

Al termine del processo di distillazione, il modello studente dovrebbe riuscire a eguagliare il modello insegnante in termini di output, ma con una velocità superiore. 

Ti starai chiedendo che cos’è una XAI. È una disciplina che unisce processi, strumenti e tecniche per aiutare gli esseri umani a capire come funzionano determinati modelli di AI.  

Distillation step-by-step

Trasferisce non solo l’output finale, ma anche il processo logico (chain-of-thought) del modello insegnante, è un procedimento simile all’instruction tuning nei LLM.

In futuro distilleremo conoscenza?

Ci stiamo dirigendo verso un mondo in cui l’AI sarà sempre più integrata nelle nostre vite. In questo contesto, affinare i metodi di Knowledge Distillation può rivelarsi una carta vincente: rispetto ai principali modelli conosciuti fino ad ora, le AI distillate mostrano una strada più efficiente in termini di tempo, investimenti e sfruttamento delle risorse naturali del nostro pianeta. Saranno loro il futuro dell’Intelligenza Artificiale?