Inteligență Artificială & LLM

GPT-5 are o problemă: au cheltuit mulți bani antrenându-l și chiar și atunci nu este cu mult mai bun decât GPT-4

GPT-5 are o problemă: au cheltuit mulți bani antrenându-l și chiar și atunci nu este cu mult mai bun decât GPT-4

Recenta rafală de anunțuri de la OpenAI a demonstrat ritmul frenetic în care lucrează compania. În ultimele zile am aflat vești grozave despre Sora, Căutare ChatGPT, ChatGPT pe WhatsApp, disponibilitate massive o1 sau reciente o3 ca protagoniști majori. Totul pare să meargă bine pentru compania condusă de Sam Altman, dar există ceva care probabil că te ține treaz noaptea: GPT-5.

GPT-5 și Orion

Compania lucrează de luni de zile la următorul său model de limbă major, numit de cod Orion, dar care va fi GPT-retic. Se presupune că saltul de performanță în raport cu GPT-4 va fi semnificativ mai mare decât ceea ce am văzut de la GPT-4 la GPT-4o, dar aceasta este problema. Momentan, nu este.

Am folosit ChatGPT Search ca motor de căutare implicit datorită extensiei Chrome. Și cred că Google are o problemă

Întârzieri și costuri colosale

După cum s-a subliniat în The Wall Street Journal, acest proiect este amânat constant și, de exemplu, Microsoft spera să aibă acces la el la mijlocul anului 2024. Există ceva și mai rău: dezvoltarea sa are un cost colosal care nu încetează să crească. Se estimează că fiecare rundă de antrenament va dura aproximativ șase luni și va costa 500 de milioane de dolari. Potrivit ziarului, Altman a indicat deja în trecut că antrenamentul GPT-4 a costat mai mult de 100 de milioane de dolari.

Două sesiuni de antrenament care nu prea se întâlnesc

Orion a fost antrenat cu cantități enorme de date nu o dată, ci de două ori. În ciuda acestui fapt, problemele nu au încetat să apară: în a doua încercare de instruire au realizat că setul de date nu era atât de divers pe cât credeau. OpenAI a irosit o mulțime de bani și timp pentru a începe din nou acel proces și nu este clar dacă a doua instruire a ajuns să fie canalizat cu date mai bogate și mai utile.

Acest lucru nu merită în acest moment

Cercetătorii par să fi fost dezamăgiți de performanța modelului, potrivit unor surse apropiate proiectului. Deși are performanțe mai bune decât modelul actual, performanța sa nu justifică costul enorm de dezvoltare și execuție a lui Orion.

Se presupune că creșterea performanței GPT-5 în comparație cu GPT-4 va fi notabilă, dar aceasta este problema. Momentan, nu este.

Sutskever a avertizat deja

Ilya Sutskever, co-fondatorul OpenAI care a părăsit compania cu câteva luni în urmă, a declarat în noiembrie că antrenarea modelelor AI cu tot mai multe GPU-uri și date nu mai este utilă. mult. Așteptările cu privire la GPT-5 se alătură celor ale eforturilor altor companii care dezvoltă teoretic și chatbot-uri din ce în ce mai puternice. Sentimentul este că IA generativă, cel puțin de acest tip, stagnează.

Altman și pericolul promisiunilor

În iulie 2025, el a declarat că GPT-5 ar putea ajunge la sfârșitul lui 2024 și începutul lui 2025. De fapt, el a promis că noul model

Generarea datelor de calitate. La OpenAI au întâmpinat problema că nu mai aveau mult mai multe date de calitate cu care să antreneze modelul, așa că și-au propus să-l creeze de la zero. Au angajat oameni care să scrie noi programe sau să rezolve probleme de matematică și apoi „să discute” cu Orion pentru a explica acele rezultate. Astfel de explicații sunt, de asemenea, teoretic valoroase pentru dezvoltarea unui LLM, deoarece pot servi ca o „hartă” care permite modelelor să rezolve probleme similare în viitor. Nu este vorba doar de a oferi rezultatul, ci și de a revizui modul în care am ajuns acolo.

Agenți AI și chatbot care „raționează” la salvare

În ciuda acestor dificultăți, atât OpenAI, cât și concurenții săi au în prezent două tendințe majore care revigorează din nou acest segment. Primul, cel al agenți AI care vor face lucrurile pentru noi în mod autonom. Al doilea, cel al modele care „raționează” și care, chiar și durand mai mult, reușesc să dea răspunsuri mai corecte. Speranța este că ambele propuneri vor sfârși prin a înlocui chatboții actuali, cel puțin parțial.

În investigația noastră tehnică | Copilot, ChatGPT și GPT-4 au schimbat lumea programării pentru totdeauna. Asta cred programatorii

Partajează acest dosar: