Come l'Università della California ha creato un'AI con soli 450 dollari

Il team NovaSky dell'Università di Berkeley ha appena rilasciato Sky-T1-32B-Preview, un modello AI che riesce a competere con le prestazioni di OpenAI o1-preview con un budget sorprendentemente accessibile: appena 450 dollari.

La ricerca nell'AI: aziende vs università

Quando si parla di intelligenza artificiale, innovazione e ricerca sono elementi quasi automaticamente associati alle grandi multinazionali o alle startup tecnologiche. In effetti, è ormai assodato che la ricerca sull'AI è - o è stata - quasi esclusivamente in mano all'industria, come sostenuto dagli autori di questo articolo su Science:

"Oggi l’industria domina i tre ingredienti chiave della moderna ricerca sull’AI: potenza di calcolo, ampie serie di dati e ricercatori altamente qualificati"

Nonostante ciò, dall'avvento dell'AI generativa ad oggi, le università e i loro poli di ricerca non sono stati fermi a guardare. Negli ultimi mesi abbiamo assistito ad una proliferazione di corsi universitari e progetti di ricerca nati in seno alle università ed interamente incentrati sull'AI. La notizia di nostro interesse - il lancio di un nuovo modello open source da parte dell'Università della California - è la dimostrazione che la ricerca tecnologica non solo non è ancora esclusivo appannaggio dell'industria, ma che le università possono sostenere un livello di ricerca qualitativamente paragonabile a quello del mondo aziendale.

Sky-T1: il modello open source dell'Università della California

Venerdì NovaSky, un team di ricercatori dello Sky Computing Lab della UC Berkeley, ha rilasciato Sky-T1-32B-Preview, un modello di AI di "ragionamento" (cioè, che "ragiona" automaticamente come fa Chat GPT o1). Sky-T1 sembra essere il primo modello di ragionamento veramente open source, nel senso che può essere replicato da zero; il team ha rilasciato il dataset utilizzato per addestrarlo e il codice di addestramento necessario.

Il dato più sorprendente di Sky-T1 non è solo il suo costo contenuto - appena 450 dollari - ma anche la rapidità del suo sviluppo: il team è riuscito ad addestrare il modello in sole 19 ore, utilizzando otto GPU Nvidia H100, dimostrando che è possibile replicare capacità di ragionamento avanzate in modo economico ed efficiente.

Tutto ciò è stato possibile grazie a tre elementi chiave:

Base solida: I ricercatori non sono partiti da zero, ma hanno creato Sky-T1 attraverso il fine-tuning di un altro modello già esistente, Qwen2.5-32-Instruct di Alibaba.
Dati sintetici: Per addestrare il modello sono stati utilizzati dati sintetici generati da QwQ-32B-Preview (un processo molto meno costoso dell'addestramento con dati reali).
Labor limae: Per garantire l'affidabilità del modello. Il team ha filtrato i dati sintetici attraverso un sistema di "rejection sampling" (una sorta di controllo qualità per scartare i dati difettosi), utilizzato GPT-4o-mini per "riscrivere" i dati in un formato più efficace e verificato che ogni esempio fosse corretto confrontandolo con soluzioni note.

Prestazioni e confronti

Matematica: Supera o1-preview in alcuni benchmark matematici
Coding: Mostra risultati paragonabili nei test di programmazione
Limitazioni: Presenta alcune difficoltà nel benchmark GPQA-Diamond, che include domande avanzate di fisica a livello dottorato
Fonte: GitHub

Totalmente Open Source

Infine, è importante notare che Sky T1 è l'unico modello "di ragionamento" interamente open source (qui la definizione ufficiale di "open source"). Il team NovaSky ha reso disponibile pubblicamente il codice completo dell'infrastruttura, i dati di addestramento, i pesi del modello e i dettagli tecnici.