MacBook Pro meu are trei ani și, pentru prima dată în viața mea, un computer primar de trei ani nu se simte ca o criză care trebuie rezolvată imediat. Este adevărat, acest lucru se datorează în parte faptului că aștept ca Apple să le rezolve tastaturăși, parțial, pentru că încă nu pot stomacul Touch Bar. Dar este și pentru că trei ani de creștere a performanței nu este ceea ce era înainte.

Nu este exagerat să spunem că Legea lui Moore, creșterea exponențială fără încetare a forței de muncă în puterea de calcul a lumii noastre, a fost cea mai importantă forță din lume în ultimii cincizeci de ani. Deci, decelerarea sa lentă și / sau dispariția sunt o afacere importantă și nu doar pentru că repercusiunile încep acum în fiecare casă și în fiecare buzunar.

Cu toții am trăit în speranța că un alt domeniu va merge exponențial, oferindu-ne o altă epocă, similară, desigur. AI / învățarea automată a fost marea speranță, în special visul îndepărtat al unei bucle de feedback de învățare automată, AI îmbunătățind AI-ul într-un ritm exponențial de zeci de ani. Asta pare acum puțin probabil.

Într-adevăr, așa a fost întotdeauna. Cu câțiva ani în urmă, vorbeam cu CEO-ul unei companii AI care susținea că progresul AI este practic o curbă S, iar noi ajunsesem deja la vârf pentru procesarea sunetului, îl apropiam pentru imagine și video, dar erau doar la jumătatea drumului. în sus, curba pentru text. Niciun premiu pentru ghicirea în care compania sa s-a specializat – dar se pare că a fost complet corect.

La începutul acestei săptămâni, OpenAI eliberată o actualizare la analiza lor din anul trecut cu privire la modul în care puterea de calcul utilizată de AI1 creste. Rezultatul? „A crescut exponențial cu o dublare de 3,4 luni (prin comparație, Legea lui Moore a avut o perioadă de dublare de 2 ani). Din 2012, această valoare a crescut cu peste 300.000x (o dublare de 2 ani ar avea doar o creștere de 7x). "

Aceasta este… multă putere de calcul pentru a îmbunătăți starea tehnologiei AI și este clar că această creștere a calculului nu poate continua. Nu „nu va”; poate sa nu. Din păcate, creșterea exponențială a nevoii de putere de calcul pentru a instrui AI s-a întâmplat aproape exact contemporane cu diminuarea creșterii exponențiale a Legii lui Moore. Aruncând mai mulți bani la problemă nu va ajuta – din nou, vorbim aici despre rate exponențiale de creștere, ajustările liniare ale cheltuielilor nu vor muta acul.

A lua în considerare este faptul că, chiar dacă presupunem progrese mari de eficiență și îmbunătățiri ale performanței pentru a reduce rata de dublare, progresul AI pare să fie din ce în ce mai limitat în calcul, într-un moment în care creșterea noastră colectivă a puterii de calcul începe să scadă. Poate că va exista un fel de descoperire, dar în absența unuia, sună foarte mult ca și cum am privi progresele de învățare AI / mașină nivelând, nu de mult de acum, și pentru viitorul previzibil.


1Măsoară „cele mai mari rulaje de instruire AI”, din punct de vedere tehnic, dar acest lucru pare instructiv.

Sursa articol

LĂSAȚI UN MESAJ

Please enter your comment!
Please enter your name here