Inteligență Artificială & LLM

Anthropic a chemat să încetinească dezvoltarea AI, dar AI-ul său avansează de două ori mai repede decât anul trecut

Anthropic a chemat să încetinească dezvoltarea AI, dar AI-ul său avansează de două ori mai repede decât anul trecut

La mijlocul lunii septembrie, Dario Amodei, CEO Anthropic, a lansat un mesaj curios: mergem prea departe cu AI. Deja la acea vreme am comentat că poate nu a fost un îndemn la responsabilitate, ci la ar putea să nu înceapă niște funcționări care să nu se desfășoare. Timpul pune totul la locul său, iar un studiu independent cu acces la datele interne ale companiei estimează că modelele Anthropic se îmbunătățesc aproape de două ori mai repede decât înainte.

Cheia? AI-ul face eforturi pentru a dezvolta AI.

Pe scurt

În urmă cu câteva zile, organizația non-profit METR (Model Evaluation and Threat Research) a publicat rodul lunilor de muncă: o analiză a cât de mult accelerează AI propria dezvoltare în cadrul Anthropic. Evaluarea a fost realizată în perioada cuprinsă între 12 august și 29 octombrie, așa că a început înainte ca Amodei să lanseze mesajul și a concluzionat că compania își îmbunătățește capacitățile modelelor în sarcini bine definite într-un timp de aproximativ două ori mai rapid decât cel din martie 2024 și octombrie 2025.

Ei lasă o marjă între 1,3 și 3 ori mai rapid și pentru a trage aceste concluzii se bazează pe AECI, versiunea Anthropic a Indicelui Capabilităților Epocă care rezumă într-un număr performanța unui model într-un set de sarcini de testare (referințele, haide). Astfel, ei estimează că, din octombrie 2025, va crește de 1,9 ori mai repede. 

„Începând din octombrie 2026, nu am fi surprinși dacă rata de accelerare ar fi mai aproape de trei ori rata istorică”

Cauza

METR pretinde să fie încrezător că accelerația nu se datorează puterii de calcul mai rapide pentru antrenament. Consumatorii suferă de această problemă de un an încoace (și este ceea ce a dus la actuala criză a componentelor care nu are sfârșit în vedere). Estimarea subiectivă a cercetătorilor este că cea mai mare parte din accelerația actuală, poate 80%, se datorează utilizării AI în dezvoltarea AI în sine.

Aici ei mărturisesc că nu există un consens și că impulsul se poate datora exclusiv utilizării AI pentru a antrena AI (ceva pe care Anthropic în sine nu l-a ascuns, wow), dar și la o creștere a angajărilor. În analiză prezintă declarațiile cercetătorilor intervievați, care subliniază că AI accelerează munca datorită asistenței pe care o oferă oamenilor, deși nu aduce încă contribuții autonome în cele mai cruciale părți ale formării.

În sondajele informale ale angajaților, aceștia indică o îmbunătățire percepută de aproximativ 12 ori în ritm, deși METR consideră acest lucru nesigur. Ceea ce pare să aibă mai multă bază este că nu vor exista blocaje (deși nu sunt siguri pentru că evaluarea s-a schimbat de mai multe ori) care să încetinească dezvoltarea în următoarele 12 luni și, în plus, subliniază că este foarte posibil ca accelerația să se reacasă. Pe scurt: modelele mai capabile ar accelera dezvoltarea și mai mult.

Anthropic a surprins China copiendu-l pe Claude. În acest proces, a arătat cât de mult știe despre ce facem cu ea
Anthropic a surprins China copiendu-l pe Claude. În acest proces, a arătat cât de mult știe despre ceea ce facem cu el

Solicitarea

Acest lucru este curios dacă ținem cont de menționată petiție din 12 septembrie. Amodei a publicat eseul în care a cerut să încetinească ritmul în care capacitățile modelelor se îmbunătățesc. Textul atribuie avansul recent, mai ales, îmbunătățirii recursive, tocmai despre ceea ce am vorbit despre capacitatea AI de a construi următoarea generație de AI.

Însuși Amodei a propus trei pași pentru a efectua un fel de audit în acest sens:

  • Oferiți testerilor externi acces asemănător angajaților în cadrul companiilor AI. În acest caz, a menționat METR.
  • Standarde de securitate comune între laboratoarele din țările democratice.
  • Coordonare globală.
Reward hacking: termenul care explică de ce AI mint și trișează pentru a atinge un obiectiv

Cenzură

În ciuda deschiderii, Anthropic avea dreptul de a ascunde informații critice care nu pot fi publice (formula Coca-Cola a AI-ului său, pe scurt) și METR notează că compania a cenzurat majoritatea testelor pe care le considera cele mai informative. Acestea includ estimări ale accelerării antrenamentului, defalcarea progresului între calcul, date și algoritmi, previziuni ale modelelor viitoare și analiza diferitelor blocaje.

METR folosește acest lucru pentru a transmite mesajul că este ceva indezirabil în exterior, deoarece devine un test de credință pentru viitorii utilizatori, dar Anthropic îl justifică prin cele menționate: necesitatea eliminării informațiilor confidențiale care ar putea grăbi rivalii din această cursă. O altă problemă, poate mai spinoasă, este că METR asigură că Anthropic a anulat procesul de verificare în mijlocul anchetei asupra modului în care își distribuie calculul între capabilități și securitate, susținând că a preferat să se concentreze pe evaluarea riscurilor și că le va returna verificarea ulterior.

Aceasta este pură speculație din partea mea, dar poate că este ceva legat de a comentat pe Twitter că multe dintre concluziile studiului coincid cu ale sale, deși fără a pune o cifră în accelerarea antrenamentului. El a recunoscut, de asemenea, că cenzura face munca METR mai dificilă, dar a susținut că detalierea a ceea ce determină accelerarea este sensibilă din punct de vedere comercial și ar putea oferi altora indicii pentru a merge mai repede.

În cele din urmă, aceste schimbări de condiții și tot conținutul „barat” fac METR să avertizeze că nu știe cu adevărat cât de mult din tot ceea ce au măsurat poate fi transferat în sarcini difuze sau impact real. Ei au analizat impactul asupra sarcinilor bine definite, care sunt ușor de punctat automat, dar, de asemenea, recunosc că ar putea avea o accelerare subevaluată dacă impactul automatizării se îmbunătățește sau dacă nivelul de referință scade.

Hai, toată lumea este de acord că AI se îmbunătățește cu o viteză uluitoare și că un factor cheie este auto-îmbunătățirea, dar ar trebui făcute mai multe teste și, mai presus de toate, să vezi dacă atunci când vor fi publice elimină cenzura pentru a putea măsura mai bine impactul.

În investigația noastră tehnică | Directorul general al Anthropic a descoperit o realitate: muncitorii lui muncesc pentru bani, nu pentru o „misiune”

Partajează acest dosar: