Non si può negare che ChatGPT sia il fenomeno del momento. Sebbene permangano delle perplessità su una società che faccia forte affidamento sulle intelligenze artificiali, tutti, o per lavoro o per gioco, ci siamo rivolti al nostro “amico virtuale”, rimanendo spesso stupefatti. Spesso, ma non sempre: è inevitabile che le risposte generate non soddisfino nel 100% dei casi le richieste. Ma se vi dicessi che ci sono studi che dimostrano, addirittura, che l’IA sia in regressione, piuttosto che in evoluzione?
LO STUDIO
Gli utenti del web hanno sentenziato: per molti non è improprio parlare di “deficienza artificiale”. Personalmente, concordo nel fatto che a dispetto delle risposte precise e puntuali dei primi tempi, nelle ultime settimane il dialogo con l’IA di OpenAI si sia fatto molto più prolisso. Ma oggi abbiamo addirittura uno studio che dimostra empiricamente come si siano fatti enormi passi indietro, soprattutto per la versione Plus. Quella che, teoricamente, avrebbe dovuto sbaragliare la 3.5.
A condurre l’esperimento sono stati i ricercatori delle Università di Stanford e di Berkeley, che hanno analizzato sistematicamente diverse versioni di ChatGPT da marzo 2023 allo scorso giugno. Gli scienziati hanno sviluppato rigorosi benchmark per valutare la competenza del modello nelle attività di matematica, codifica e ragionamento visivo, rimanendo stupiti, in negativo, dai risultati.
Il più eclatante riguarda il ragionamento matematico: ChatGPT-4 è passata da risolvere correttamente 488 domande su 500 a marzo (accuratezza del 97,6%), alle sole 12 di giugno (un misero 2,4%). La soluzione è invertita per la versione 3.5, quella gratuita: dal 7,4% all’86,8%, che è comunque inferiore al 97,6% della versione Plus di marzo.
La situazione non è più rosea negli altri campi. Nella codifica, si percepisce una regressione tangibile in entrambe le versioni: per ChatGPT-4 si è passati dal 52% di marzo al 10% di giugno, mentre per ChatGPT-3.5 dal 22% al 2%.
Il downgrade è analogo anche per la capacità di rispondere alle domande delicate, mentre l’unico settore in cui si registrano miglioramenti, seppur timidi, è nel ragionamento visivo: da 24,6% al 27,4% per la versione Plus, dal 10,3% al 12,2% per quella gratuita.
Troppo poco, però, per non concordare con i ricercatori: la regressione è evidente e mette anche in dubbio l’utilità stessa dello strumento in ambito professionale.
LE MOTIVAZIONI
Trovare le ragioni dietro a questi dati non è facile. Gli stessi ricercatori avanzano delle ipotesi, senza tuttavia dare alcun tipo di certezza. La prima, probabilmente la più plausibile, è che questi siano gli “effetti collaterali” delle ottimizzazioni apportate da OpenAI, creatori del software. Ma non è da escludere che siano anche le naturali conseguenze della “lobotomia” apportata per evitare che ChatGPT risponda compiutamente a domande pericolose. Così come è inevitabile che le limitazioni imposte dalla politica alle intelligenze artificiali (su tutte, quelle dell’Unione europea: L’europarlamentare Benifei ci spiega il Regolamento sull’IA) abbiano portato lo sviluppo verso versioni più “moderate”, per evitare di incappare in sanzioni milionarie.
Per Santiago Valderrama, uno dei massimi esperti di intelligenza artificiale, la ragione sarebbe invece di natura economica. Secondo lui è stata sostituita l’architettura originale in favore di diversi modelli più piccoli e specializzati che potrebbero sì essere più veloci nel rispondere, ma anche meno competenti. E soprattutto, sono meno onerosi, probabilmente la ragione principale per cui OpenAI potrebbe avere optato per questa soluzione.
LA RISPOSTA DI OPENAI
Ovviamente, uno studio simile non poteva lasciare insensibile la società creatrice del modello. A rispondere alle evidenze dello studio è stato addirittura il vicepresidente di OpenAI, Peter Wellinder, che ha twittato: “No, non abbiamo reso GPT-4 più stupido. Anzi: rendiamo ogni nuova versione più intelligente della precedente”.
Wellinder ha inoltre invitato gli utenti a pubblicare esempi che dimostrino come il chatbot sia peggiorato, e gli utenti non si sono fatti pregare due volte, postando numerosi casi che obbligheranno OpenAI a rimettersi al lavoro.
CONCLUSIONI
Se utilizzata per le mansioni più basilari, è probabile che non ci si possa rendere conto di questo downgrade. Tuttavia le prove portate dai ricercatori sono, al momento, inconfutabili. E se davvero vogliamo affidare un ramo della nostra azienda a un’intelligenza artificiale, dobbiamo essere sicuri che questa si riveli sempre all’altezza. Ad oggi, questa garanzia non esiste. Ecco perché continuiamo a considerare le IA uno strumento sicuramente utile, ma non basilare.
