• BANNER-osmcoin.png
  • BANNER-time-management-nuovo.png
  • BANNER-utili-patrimonio.png
  • carlo partipilo
  • medical
  • osmcoin promo
  • guru jobs
  • BANNER-mastermind.png
  • mazzotta desktop
  • BANNER-virtual-coac.png
  • polidori
  • BANNER-imp.info-nuovo.png
  • bella vita cinzia
  • osmcoin promo mobile
  • banner-mobileutili-patrimonio-e-rendite.png
  • TIME-MANAGEMENT-mobile-nuovo.png
  • banner mobile cinzia bonfrisco
  • banner medical mobile
  • carlo partipilo
  • sogi
  • banner-mobile-virtual-coach.png
  • sogi
  • banner-mobile-imp.info-nuovo.png
  • banner-mobile-mastermind.png
  • guru mobile
  • polidori
  • mazzotta
  • banner-mobile-OSMCOIN.png

Possiamo iniziare a parlare di Deficienza Artificiale?

Segui Andrea Ranaldo
( 3 Followers )
X

Segui Andrea Ranaldo

E-mail :*

Non si può negare che ChatGPT sia il fenomeno del momento. Sebbene permangano delle perplessità su una società che faccia forte affidamento sulle intelligenze artificiali, tutti, o per lavoro o per gioco, ci siamo rivolti al nostro “amico virtuale”, rimanendo spesso stupefatti. Spesso, ma non sempre: è inevitabile che le risposte generate non soddisfino nel 100% dei casi le richieste. Ma se vi dicessi che ci sono studi che dimostrano, addirittura, che l’IA sia in regressione, piuttosto che in evoluzione?

LO STUDIO

Gli utenti del web hanno sentenziato: per molti non è improprio parlare di “deficienza artificiale”. Personalmente, concordo nel fatto che a dispetto delle risposte precise e puntuali dei primi tempi, nelle ultime settimane il dialogo con l’IA di OpenAI si sia fatto molto più prolisso. Ma oggi abbiamo addirittura uno studio che dimostra empiricamente come si siano fatti enormi passi indietro, soprattutto per la versione Plus. Quella che, teoricamente, avrebbe dovuto sbaragliare la 3.5.

A condurre l’esperimento sono stati i ricercatori delle Università di Stanford e di Berkeley, che hanno analizzato sistematicamente diverse versioni di ChatGPT da marzo 2023 allo scorso giugno. Gli scienziati hanno sviluppato rigorosi benchmark per valutare la competenza del modello nelle attività di matematica, codifica e ragionamento visivo, rimanendo stupiti, in negativo, dai risultati.

Il più eclatante riguarda il ragionamento matematico: ChatGPT-4 è passata da risolvere correttamente 488 domande su 500 a marzo (accuratezza del 97,6%), alle sole 12 di giugno (un misero 2,4%). La soluzione è invertita per la versione 3.5, quella gratuita: dal 7,4% all’86,8%, che è comunque inferiore al 97,6% della versione Plus di marzo.

La situazione non è più rosea negli altri campi. Nella codifica, si percepisce una regressione tangibile in entrambe le versioni: per ChatGPT-4 si è passati dal 52% di marzo al 10% di giugno, mentre per ChatGPT-3.5 dal 22% al 2%.

Il downgrade è analogo anche per la capacità di rispondere alle domande delicate, mentre l’unico settore in cui si registrano miglioramenti, seppur timidi, è nel ragionamento visivo: da 24,6% al 27,4% per la versione Plus, dal 10,3% al 12,2% per quella gratuita.

Troppo poco, però, per non concordare con i ricercatori: la regressione è evidente e mette anche in dubbio l’utilità stessa dello strumento in ambito professionale.

LE MOTIVAZIONI

Trovare le ragioni dietro a questi dati non è facile. Gli stessi ricercatori avanzano delle ipotesi, senza tuttavia dare alcun tipo di certezza. La prima, probabilmente la più plausibile, è che questi siano gli “effetti collaterali” delle ottimizzazioni apportate da OpenAI, creatori del software. Ma non è da escludere che siano anche le naturali conseguenze della “lobotomia” apportata per evitare che ChatGPT risponda compiutamente a domande pericolose. Così come è inevitabile che le limitazioni imposte dalla politica alle intelligenze artificiali (su tutte, quelle dell’Unione europea: L’europarlamentare Benifei ci spiega il Regolamento sull’IA) abbiano portato lo sviluppo verso versioni più “moderate”, per evitare di incappare in sanzioni milionarie.

Per Santiago Valderrama, uno dei massimi esperti di intelligenza artificiale, la ragione sarebbe invece di natura economica. Secondo lui è stata sostituita l’architettura originale in favore di diversi modelli più piccoli e specializzati che potrebbero sì essere più veloci nel rispondere, ma anche meno competenti. E soprattutto, sono meno onerosi, probabilmente la ragione principale per cui OpenAI potrebbe avere optato per questa soluzione.

LA RISPOSTA DI OPENAI

Ovviamente, uno studio simile non poteva lasciare insensibile la società creatrice del modello. A rispondere alle evidenze dello studio è stato addirittura il vicepresidente di OpenAI, Peter Wellinder, che ha twittato: “No, non abbiamo reso GPT-4 più stupido. Anzi: rendiamo ogni nuova versione più intelligente della precedente”.

Wellinder ha inoltre invitato gli utenti a pubblicare esempi che dimostrino come il chatbot sia peggiorato, e gli utenti non si sono fatti pregare due volte, postando numerosi casi che obbligheranno OpenAI a rimettersi al lavoro.

CONCLUSIONI

Se utilizzata per le mansioni più basilari, è probabile che non ci si possa rendere conto di questo downgrade. Tuttavia le prove portate dai ricercatori sono, al momento, inconfutabili. E se davvero vogliamo affidare un ramo della nostra azienda a un’intelligenza artificiale, dobbiamo essere sicuri che questa si riveli sempre all’altezza. Ad oggi, questa garanzia non esiste. Ecco perché continuiamo a considerare le IA uno strumento sicuramente utile, ma non basilare.

Segui Andrea Ranaldo
( 3 Followers )
X

Segui Andrea Ranaldo

E-mail :*
Follow
( 0 Followers )
X

Follow

E-mail : *
  • banner-mobile-imp.info-nuovo.png
  • banner mobile cinzia bonfrisco
  • polidori
  • TIME-MANAGEMENT-mobile-nuovo.png
  • banner medical mobile
  • guru mobile
  • banner-mobile-OSMCOIN.png
  • banner-mobile-virtual-coach.png
  • banner-mobile-mastermind.png
  • osmcoin promo mobile
  • banner-mobileutili-patrimonio-e-rendite.png
  • carlo partipilo
  • sogi
  • sogi
  • mazzotta

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Innovazione

OpenAI Sora: La Rivoluzione nella Creazione di Video con l’IA

Segui Andrea Turrini ( 0 Followers ) X Segui Andrea Turrini E-mail :* Segui Andrea Turrini Smetti di seguire Andrea Turrini La tecnologia sta rivoluzionando il modo in cui creiamo e consumiamo i contenuti video. Con l’avvento di Sora, una nuova intelligenza artificiale (IA) di OpenAI, siamo ad un passo da una nuova era della […]

Continua a leggere
Innovazione

Rabbit R1: L’assistente IA tascabile che cambia le regole del gioco

Segui Andrea Turrini ( 0 Followers ) X Segui Andrea Turrini E-mail :* Segui Andrea Turrini Smetti di seguire Andrea Turrini Il Rabbit R1 è un dispositivo AI (Intelligenza Artificiale) innovativo e adorabile che promette di rivoluzionare il modo in cui interagiamo con le app. Sviluppato dalla startup Rabbit Inc., questo assistente virtuale dedicato è […]

Continua a leggere
Innovazione

Canva.com: La Rivoluzione del Design Grafico con un Tocco di Magia AI

Segui Andrea Turrini ( 0 Followers ) X Segui Andrea Turrini E-mail :* Segui Andrea Turrini Smetti di seguire Andrea Turrini Nel mondo digitale di oggi, il design grafico è diventato un pilastro fondamentale per qualsiasi attività che voglia distinguersi. Ecco che entra in scena Canva.com, una piattaforma che ha rivoluzionato il modo in cui […]

Continua a leggere