Autor: Ian Scheffler
U trci za razvoj robusnih sistema percepcije za robote, jedan stalni izazov bio je rad po lošem vremenu i u teškim uslovima. Na primer, tradicionalni senzori vida zasnovani na svetlosti kao što su kamere ili LiDAR (Light Detection And Ranging) ne uspevaju u teškom dimu i magli.
Međutim, priroda je pokazala da vid ne mora biti sputan ograničenjima svetlosti — mnogi organizmi su razvili načine da percipiraju svoje okruženje bez oslanjanja na svetlost. Slepi miševi se kreću koristeći odjeke zvučnih talasa, dok ajkule love tako što osećaju električna polja od pokreta svog plena.
Radio talasi, čije su talasne dužine za redove veličine duže od svetlosnih talasa, mogu bolje da prodiru u dim i maglu, pa čak mogu da vide i kroz određene materijale – sve mogućnosti koje su van ljudskog vida. Ipak, roboti su se tradicionalno oslanjali na ograničen komplet alata: ili koriste kamere i LiDAR, koji daju detaljne slike, ali ne uspevaju u izazovnim uslovima, ili tradicionalni radar, koji može da vidi kroz zidove i druge prepreke, ali proizvodi grube slike niske rezolucije.
Novi način viđenja
Sada su istraživači sa Fakulteta za inženjerstvo i primenjene nauke Univerziteta u Pensilvaniji (Penn Engineering) razvili PanoRadar, novi alat koji robotima daje nadljudski vid tako što jednostavne radio talase transformišu u detaljne, 3D prikaze okoline.
„Naše početno pitanje je bilo da li možemo da kombinujemo najbolje od oba modaliteta senzora“, kaže Mingmin Zhao, docent za računarstvo i informacione nauke. „Robusnost radio signala, koji su otporni na maglu i druge izazovne uslove, i visoka rezolucija vizuelnih senzora.“
PanoRadar radi kao svetionik, sa rotirajućim senzorom koji emituje radio talase, čije odjeke AI obrađuje u tačnu, 3D sliku okoline.
U radu koji će biti predstavljen na Međunarodnoj konferenciji o mobilnom računarstvu i umrežavanju (MobiCom 2024), od 18. do 22. novembra u Vašingtonu, Zhao i njegov tim opisuju kako PanoRadar koristi radio talase i veštačku inteligenciju (AI) kako bi omogućio robotima da se kreću čak i u najizazovnijim okruženjima, kao što su zgrade pune dima ili magloviti putevi.
Tim, iz Laboratorije Wireless, Audio, Vision, and Electronics for Sensing (WAVES) i centra Penn Research In Embedded Computing and Integrated Sistems Engineering (PRECISE), u kojem su doktorant Haowen Lai, nedavno diplomiranog na master studijama Gaoxiang Luoa i asistent za dodiplomske studije i Yifei (Freddyi) Liu.
Vrti se kao svetionik
PanoRadar je senzor koji radi kao svetionik koji okreće svoj snop u krug da bi skenirao ceo horizont. Sistem se sastoji od rotirajućeg vertikalnog niza antena koje skeniraju horizont. Dok rotiraju, ove antene emituju radio talase i slušaju njihove refleksije iz okoline, slično tome kako snop svetionika otkriva prisustvo brodova i obeležja obale.
Zahvaljujući snazi veštačke inteligencije, PanoRadar prevazilazi ovu jednostavnu strategiju skeniranja. Za razliku od svetionika koji jednostavno osvetljava različite oblasti dok se vrti, PanoRadar pametno kombinuje merenja iz svih uglova rotacije kako bi poboljšao rezoluciju slike. Dok sam senzor košta samo delić cene tipično skupih LiDAR sistema, ova strategija rotacije stvara gust niz virtuelnih mernih tačaka, što omogućava PanoRadar-u da postigne rezoluciju slike uporedivu sa LiDAR-om.
„Ključna inovacija je u tome kako obrađujemo ova merenja radio talasa“, objašnjava Zhao. „Naši algoritmi za obradu signala i mašinsko učenje su u stanju da iz okruženja izvuku bogate 3D informacije.“
Podučavanje AI
Jedan od najvećih izazova sa kojima se Zhaov tim suočio bio je razvoj algoritama za održavanje visoke rezolucije slike dok se robot kreće. „Da bismo sa radio signalima postigli rezoluciju uporedivu sa LiDAR-om, morali smo da kombinujemo merenja sa mnogo različitih pozicija sa tačnošću ispod milimetra“, objašnjava Lai, glavni autor rada. „Ovo postaje posebno izazovno kada se robot kreće, jer čak i male greške u kretanju mogu značajno uticati na kvalitet slike.“
Još jedan izazov sa kojim se tim pozabavio bilo je učenje njihovog sistema da razume šta vidi. „Okruženja u zatvorenom prostoru imaju dosledne obrasce i geometriju“, kaže Luo. „Iskoristili smo ove obrasce kako bismo pomogli našem sistemu veštačke inteligencije da protumači radarske signale, slično kao što ljudi uče da razumeju ono što vide.“ Tokom procesa obuke, model mašinskog učenja se oslanjao na LiDAR podatke za proveru svog razumevanja u odnosu na stvarnost i mogao je da nastavi da se usavršava.
„Naši testovi na terenu u različitim zgradama pokazali su kako radio očitavanje može biti bolje tamo gde se tradicionalni senzori muče“, kaže Liu. „Sistem održava precizno praćenje kroz dim i čak može mapirati prostore sa staklenim zidovima.“
To je zato što radio talase ne blokiraju čestice u vazduhu, a sistem čak može da „uhvati“ stvari koje LiDAR ne može, poput staklenih površina. Visoka rezolucija PanoRadar-a takođe znači da može precizno otkriti ljude, što je kritična karakteristika za aplikacije kao što su autonomna vozila i spasilačke misije u opasnim okruženjima.
Planirajući unapred, tim planira da istraži kako bi PanoRadar mogao da sarađuje sa drugim senzorskim tehnologijama kao što su kamere i LiDAR, stvarajući robusnije, multimodalne sisteme percepcije za robote. Tim takođe proširuje svoje testove na različite robotske platforme i autonomna vozila.
„Za visoko rizične zadatke ključno je imati više načina za otkrivanje okoline“, kaže Zhao. „Svaki senzor ima svoje prednosti i slabosti, a njihovim inteligentnim kombinovanjem možemo kreirati robote koji su bolje opremljeni da se nose sa izazovima u stvarnom svetu.“
Izvor: TechXplore