Ajkula i delfin nisu bliski rođaci, ali su nezavisno razvili sličan oblik tela zato što se oba suočavaju sa istim fizičkim problemom – efikasnim kretanjem kroz vodu. Biologija takvu pojavu naziva konvergentnom evolucijom. Novo istraživanje postavlja neobično pitanje: da li se nešto slično događa i kod veštačkih neuronskih mreža? Ako dva modela započnu trening sa potpuno nasumičnim unutrašnjim vrednostima, ali rešavaju isti zadatak, da li ih taj zadatak vremenom usmerava prema sličnim unutrašnjim strukturama?
Rad objavljen 6. avgusta pruža prve dokaze da bi odgovor mogao biti potvrdan. Istraživači su trenirali više malih neuronskih mreža na skupovima slika kao što su MNIST, Fashion-MNIST i KMNIST. Pre treninga modeli nisu imali značajnu međusobnu sličnost, ali kako su učili isti zadatak, njihove unutrašnje strukture postajale su sličnije nego kod mreža obučenih na različitim podacima. Problem pri takvom poređenju jeste što neuron broj 20 u jednoj mreži ne mora odgovarati neuronu sa istim brojem u drugoj, pa su istraživači prvo morali funkcionalno da „poravnaju“ njihove interne elemente.
Rezultat podseća na evolutivnu konvergenciju, ali istraživači naglašavaju da je reč samo o analogiji. Neuronska mreža nije živi organizam i nema reprodukciju, mutacije ili prirodnu selekciju. Međutim, matematički zahtev zadatka može favorizovati određene vrste rešenja, baš kao što fizički uslovi u prirodi favorizuju određene oblike tela. Posebno je zanimljivo što je tačnost mreža brzo rasla pre nego što su velike strukturne sličnosti postale očigledne. To znači da funkcija može početi da se menja kroz veliki broj sitnih podešavanja, dok se jasniji unutrašnji obrazac pojavljuje tek kasnije.
Ovakva istraživanja mogu pomoći da se bolje razumeju takozvane crne kutije veštačke inteligencije. Dva modela mogu davati isti rezultat, ali koristiti potpuno različite interne strategije. Ako određeni zadaci zaista vode prema prepoznatljivim strukturama, istraživači bi jednog dana mogli lakše da proveravaju šta je model zapravo naučio i da li koristi pouzdane obrasce ili slučajne prečice. Rad je za sada sproveden na relativno malim mrežama i nije dokazano da isti princip važi za ogromne jezičke modele, ali ideja je intrigantna: početak može biti potpuno nasumičan, putevi različiti, a ipak dovoljno snažan problem može različite sisteme odvesti prema sličnom unutrašnjem rešenju.
S.B.
Izvor: Postinfo
