Una dintre cele mai interesante sesiuni la Adobe MAX este, în mod tradițional, elementul cheie Sneaks, în care inginerii din diversele unități ale companiei își arată cea mai de vârf. Uneori, acestea se transformă în produse. Uneori, nu. În aceste zile, o mulțime de lucrări se concentrează pe AI, adesea bazată pe platforma Adobe Sensei. În acest an, compania ne-a aruncat o privire timpurie la Project Sweet Talk, unul dintre aspectele prezentate ale evenimentului din această seară.

Ideea de aici este destul de simplă, dar greu de scos: faceți un portret, fie un desen, fie un tablou, identificați diferitele părți ale feței, apoi animați gura în sincronizare cu un voice-over. Astăzi, Adobe’s Character Animator (pe care ați văzut-o în emisiuni precum The Late Show cu Stephen Colbert) face ceva, dar este limitat în numărul de animații, iar rezultatul, chiar și în mâinile celor mai buni animatori, nu ” nu arătați întotdeauna atât de realist (în măsura în care este posibil pentru tipurile de desene pe care le animați în produs). Proiectul Sweet Talk este mult mai inteligent. Analizează voice-over-ul și apoi utilizează smart-urile AI pentru a anima în mod realist gura și capul personajului.

Echipa, condusă de Adobe Cercetătorul Dingzeyu Li, împreună cu Yang Zhou (Universitatea din Massachusetts, Amherst), Jose Echevarria și Eli Schectman (Adobe Research), și-au hrănit efectiv modelul cu mii de ore de videoclipuri ale unor persoane reale care vorbesc cu aparatul foto pe YouTube. În mod surprinzător, acel model s-a transferat foarte bine desenului și tablourilor – chiar dacă fețele cu care a lucrat echipa, inclusiv desene destul de de bază ale fețelor de animale, nu arată cu adevărat fețe umane.

„Animația este grea și știm cu toții acest lucru”, mi-a spus Li. „Dacă știm cu toții că dacă dorim să aliniem o față cu o pistă audio dată, este și mai greu. Adobe Charter Animator are deja o caracteristică numită „calculare a buzelor de sincronizare” de pe scena audio ”și asta îți arată care sunt limitările.” Funcția existentă din Person Animator doar mișcă gura, în timp ce orice altceva rămâne static. În mod evident, nu este un aspect foarte realist. Dacă te uiți la exemplele încorporate în această postare, vei vedea că echipa frământă în mod inteligent fețele automat pentru a le face să pară mai realiste – toate dintr-o imagine JPG de bază.

Deoarece face acest lucru distrus, Proiectul Sweet Talk nu funcționează atât de bine la fotografii. Pur și simplu nu ar arăta corect și înseamnă, de asemenea, că nu este nevoie să vă faceți griji pentru că cineva să abuzeze de acest proiect pentru a face deepfakes. „Pentru a genera un deepfake cu aspect realist, sunt necesare o mulțime de date de instruire”, mi-a spus Li. „În cazul nostru, ne concentrăm doar pe repere, care pot fi prezise din imagini – iar reperele sunt suficiente pentru a anima animații. Dar, în experimentele noastre, descoperim că reperele singure nu sunt suficiente pentru a genera un aspect realist [animation based on] fotografii.“

Șansele sunt, pe termen lung, Adobe va integra această caracteristică în Animator de personaje. De asemenea, Li îmi spune că construirea unui sistem în timp real – similar cu ceea ce este posibil în Animator de personaje astăzi – este pe lista priorităților echipei.

Sursa articol

LĂSAȚI UN MESAJ

Please enter your comment!
Please enter your name here