Naučnici MIT CSAIL laboratorije razvili su sistem veštačke inteligencije VI dubokog učenja pod nazivom PixelPlayer koji može prepoznavati pojedine instrumente iz muzike unutar muzičkih video filmova, izolovati ih, miksati, editovati te pojačavati ili stišavati. Drugim rečima kada gledate neki muzički video, mišem možete označiti instrument koji vidite, a sistem će ga "izvući" iz snimka, nakon čega možete raditi sa njim šta želite, menjati ga ili editovati.
Dodatna zanimljivost je u tome što je sistem u potpunosti "samodovoljan", što znači da ljudi ne trebaju unositi nikakve podatke o tome koji se instrumenti nalaze na snimku, niti kako bi trebali zvučati, kao što možete videti u predloženom videu.
PixelPlayer je uvežban sa više od 60 sati muzičkih video klipova, nakon čega je mogao iz nikad pre viđenih videa prepoznavati pojedinačne instrumente na, kako kažu, nivou piksela i izvlačiti zvukove koji su povezani sa tim instrumentima.
Naučnici kažu da bi se ova nova sposobnost VI-a u budućnosti mogla koristiti kako pomoć tonskim inženjerima u poboljšavanju audio kvaliteta starih koncertnih snimaka, a producenti i kompozitori bi se mogli kamerom snimati u izvođenju svoje nove pesme na recimo gitari, a potom bi umesto njenog zvuka mogli ubacivati zvukove drugih instrumenata kako bi odmah čuli kako zvuči pre odlaska u studio ili pisanja partitura.
U svom naučnom radu tim je demonstrirao da PixelPlayer zasad može prepoznati zvukove 20 različitih instrumenata, mogao bi i znatno više kada bi ga opremili novim setovima podataka za treniranje.
Ranija softverska rešenja uglavnom su se fokusirala na izolovanje muzičkih instrumenata, šumova i vokalnih deonica iz audio datoteka, dok PixelPlayer koristi i računaeski vid kako bi mogao izolovati instrumente iz videa.
Naučnici tvrde da sistem može prepoznavati stvarne elemente muzike, pa određene frekvencije harmonija može stavljati u korelaciju sa pojedinačnim instrumentom poput violine, dok pulsirajuće uzorke dovodi u vezu sa instrumentima poput ksilofona.
Takođe kažu da bi se sistem jednog dana mogao naći i u robotima kako bi bolje razumeli zvukove koje stvaraju razni objekti u njihovom okruženju, poput životinja i vozila.
Izvor: vidi.hr