Hirmukast Teaduskeskuses Ahhaa

Kirjeldus

Ahhaa hirmude teemalise näituse raames lõime “hirmukasti”. Tegemist on suure prügikonteineriga, millesse kätt sissepannes näed, kuidas putukad, ämblikud, ussid ja rotid üle su käe siblavad. Õudne, mis? Tegemist pole siiski päris elukatega, vaid animeeritud 3d mudelitega, mis augmenteeritud reaalsuses su käe peale satuvad. Hea viis oma hirmude ületamiseks!

Meie osalus

• rakenduse programmeerimine
• 3d mudelite implementeerimine ja animatsioonide kohendamine

Tehniline info

Rakendus on programmeeritud mängumootoris Unity3D kasutades C# keelt. Pilditöötluseks on kasutatud OpenCV teeki, mis on kohandatud Unity3D-le.

Üldine tööpõhimõte: on hästi valgustatud (varjuvaene) kinnine kast, mille põhjas on ühtlase värviga valgust vähe peegeldav materjal – antud juhul roheline murulaadne vaip. Kätt kasti pannes tuvastatakse käe asukoht ning erkaanil liikuvad 3d mudelid suudavad käega interaktiivselt suhelda.

Kõigepealt lõigatakse greenscreen-i taustal olev käsi välja: kõik, mis pole greenscreen, on käsi. OpenCv abil leitakse convex hull, mille koordinaadid arvutatakse ümber Unity 3D ruumi. Saadud koordinaatide põhjal luuakse Unity mesh, millega seostatakse Mesh Collider komponent. Selliselt on olemas piisavalt täpne füüsilise käega kaasas liikuv digitaalne käe represtatsioon, mis saab saata käske, kui miskit siseneb või väljub tema alasse.

3d mudelitel on igal ühel oma AI ja käitumismall, st osad mudelid jooksevad puudutuse peale minema. Kasutatud Finite State Machine mudelit.

• OS: Win10
• keeled/raamistikud: C# / Unity3d, OpenCV for Unity

Meedia

[rev_slider alias=”ahhaa_fearbox”][/rev_slider]