Haptics for mobile AR: kako poboljšati ARKit aplikacije osjećajem "dodira"

Zaista sam uzbuđen zbog budućnosti haptika za AR i VR. Čini se kao nestala veza između moje HTC Vive i skoka u OASIS s Parzival-om i Art3misom. Stoga ne čudi da su haptici trenutno najiščekivanija tehnologija u XR zajednici. Nekoliko tvrtki poput Microsofta i HTC-a, kao i startapovi poput SenseGlove i HaptX, pokazali su demonstracije sve više obećavajućih ponavljanja haptičkih rukavica koje moram isprobati.

Nažalost, kao i većina AR programera danas, naš rad na Placenoteu gotovo je u potpunosti fokusiran na mobilne AR platforme poput ARKit i ARCore. Prirodno, zbog toga smo pomislili, "Mogu li haptici učiniti išta za mobilni AR?"

Haptici su bili sjajan dodatak dodirnim zaslonima, od simuliranja taktilnih klikova na gumbe do tihih obavijesti. Ali nakon nekog besnog googlanja shvatili smo da do sada nije bilo prave rasprave o hapticima za mobilne AR aplikacije ... IZAZOV JE prihvaćen

Izazov mobilne AR

Odlučili smo istražiti zašto haptici nisu napravili put do mobilnog AR-a i nije bilo teško vidjeti zašto. Mobilni AR je daleko najmanje uranjajući AR medij. Konsenzus zajednice je da je to samo zaustavljanje između vrhunske AR platforme - pametnih naočala.

Ali način razmišljanja nije jedina prepreka ovdje. Otkrili smo da mobilni faktor forme predstavlja neke jedinstvene izazove dizajneru AR iskustva:

  • za razliku od slušalica, zaslon telefona je zaslon kao i kontroler
  • nemoguće je prenijeti ruke od iskustva budući da držite telefon.
  • i dalje se oslanjamo na interakcije na dodirnom zaslonu koje su u dimenzionalnosti dvosmislene - 2D ili 3D dodir?

Ipak, realnost je da će sljedećih nekoliko godina, a možda i više, mobilni AR ovdje ostati. Trenutačno ima milijardu mobilnih uređaja u potrošačkim džepovima, a samo nekoliko šačica AR slušalica na glavi. Kao programer, distribucija za vaše aplikacije nadvladava većinu ostalih faktora. Zapravo, u aplikacijama poput unutarnje navigacije i igara, mobilni se već dokazao kao održiv medij za primjenu AR doživljaja.

To nas dovodi do teme haptika za mobilni AR. U početku se može činiti kao da nema stvarne nade da će haptici poboljšati doživljaj mobilne telefonije, ali nedavne studije zapravo pokazuju drugačije.

U hapticima je manje više

Bilo je bezbroj metoda zamišljenih za postizanje brzinske povratne informacije. Općenito, potpadaju pod dvije široke kategorije - kinestetički haptici (povratne informacije o snazi) i kožni haptici (osjet na koži).

Kinestetički haptici naširoko se smatraju realističnijom haptičkom tehnologijom. To uključuje fizičke pogone, ili uzemljene ili neutemeljene. Ovi guraju i povlače naše prste i druge dodatke kao odgovor na interakcije s virtualnim objektima. Intuitivno, realistična povratna sprega bi trebala biti znatno bolja od običnih starih vibracija. No, ovogodišnje istraživanje objavljeno u Science Robotics-u pod nazivom "Uncanny Valley of Haptics" osporilo je ove pretpostavke.

Istraživači su otkrili da povećanje realizma haptičkih senzacija ne mora nužno povećati i kvalitetu AR iskustva. Često ima negativan utjecaj zbog neobične doline realizma u simulacijama. Otkrili su da su kožni haptici, koji je u osnovi kombinacija svjetlosnih dodira i vibracija, mnogo bolji u glupiranju mozga dublje u iluziju. Čudni rezultati, ali oni su u osnovi shvatili da smo podcijenili koliko je naš mozak dobar u popunjavanju praznina u našem osjećaju stvarnosti.

Situacije u kojima naš mozak ulazi u popunjavanje praznina ono je što mi se čini najzanimljivije u našem poimanju osjetljivosti dodira. - Justin Brad, izvršni direktor Osso VR-a

Dovođenje haptika na mobilni AR

S obzirom na ta otkrića, zašto ne testirati što kožni haptici mogu učiniti za mobilni AR? Uostalom, haptics na mobilnim uređajima više nije samo u vibraciji melodija.

Mikro-elektro-mehanički sustavi (MEMS) na mobilnim uređajima postali su mnogo sofisticiraniji i sposobni za prilično nijansirano ponašanje. Od iPhonea 7, Apple je nadogradio stare osnovne vibracije treskanja na ono što danas nazivaju Taptic Engine. Ovo je mnogo suptilnije i sastoji se od sedam različitih vrsta haptičkih povratnih informacija s različitim obrascima i jačinama.

Dostupni načini brzinske povratne sprege su:

  • Promjena izbora
  • Udarna svjetlost
  • Sredstvo udarca
  • Udarni teški
  • Obavijest o uspjehu
  • Upozorenje obavijesti
  • Neuspjeh obavijesti
Novi iOS Taptic Engine (iPhone 7 nadalje) ima 7 različitih vrsta Haptičke povratne informacije

Da biste saznali više o generatora povratnih informacija za iOS, pogledajte ovu Apple dokumentaciju. Na kraju ovog članka podijelit ću vam neki kôd koji možete koristiti da biste brzo dodali ove povratne informacije svojim ARKit aplikacijama.

Odlučili smo eksperimentirati s mnogim od tih načina haptičkih povratnih informacija u našim AR aplikacijama i stvarno sam uzbuđen što mogu reći da su rezultati ugodno iznenadili naš tim. Slijedi nekoliko primjera haptičkih implementacija u našim mobilnim AR aplikacijama.

Primjeri upotrebe haptika u mobilnom AR-u

U našim dosadašnjim eksperimentima otkrili smo da brzinske povratne informacije za mobilne AR djeluju dobro u pet različitih scenarija. Evo opisa svakog.

1. Magnetski pokazivači (tj. Spajanje na mrežu)

Pokazivač zaključan uz ravnu površinu uobičajena je značajka u mnogim ARKit aplikacijama, posebno u alatima za mjerenje poput Air Measure i Magic Plan. Budući da se vaš telefon ponaša kao kontroler u mobilnom AR-u, standardni UX u aplikacijama za mjerenje uključuje povlačenje pokazivača po površini za crtanje linija ili poligona za mjerenje stvari u stvarnom svijetu. Naravno, kad je riječ o crtanju linija, magnetski pokazivači koji se prikače na krajnje točke i rubove linija vide se svugdje - od PowerPointa do Photoshopa.

Otkrili smo da je suptilna brzinska povratna sprega koja ukazuje na "škljocanje" u položaju pokazivača veliko poboljšanje. Skoro da se osjeća kao da se vaš telefon (tj. Vaš kontroler) fizički pomiče da bi mogao stati na svoje mjesto.

Zaista sam bio sretan kad vidim da Apple-ova nova aplikacija "Mjera" zapravo koristi haptičke povratne informacije u svom UX-u. To je nevjerojatno suptilna implementacija, a GIF za to možete vidjeti u nastavku. "Udarni medij" aktivira se kad se pokazivač stegne na rub ravnine.

Appleova mjera mjere

2. Hit testiranje (osjećati stvarne površine)

Još jedna uobičajena značajka u ARKit aplikacijama je hit-test. To se provodi kao odljev zraka od točke na ekranu - bilo dodirne točke ili sredine - prema površini u stvarnoj riječi. Obično se koristi za dodavanje 3D objekta na mjesto kontakta. Lagani senzibilni osjet može pomoći korisniku da shvati da je površina “pogođena”. Ovdje smo pronašli dvije metode koje dobro funkcioniraju:

zapinjanje
U ovom primjeru, marki se dodaje sceni na mjestu pogotka. "Udarno svjetlo" pomaže korisnicima da osjete "pričvršćivanje" markera u 3D prostoru. Naravno, slaba strana ovoga je što ne možete osjetiti "dubinu" točke udaranja - drugim riječima, koliko je klina udaljena od korisnika.

pašnjak
Alternativa zabijanju je metoda ispaše hitnog ispitivanja. U ovom slučaju se marker koji se stalno ažurira pretvara u koji bi se marker mogao dodati sceni. Otkrili smo da niz haptičkih impulsa, temeljen na veličini pomaka markera za pregled na svakom kadru, daje osjećaj struganja pokazivača duž 3D površine i omogućuje vam da "osjetite" 3D površinu.

Evo primjera koda za ispašu u Unityu:

ako je (udaljenost Promjena> = 0,1 i& razdaljina <0,2)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Light);
}
drugo ako (udaljenost_izmjena> = 0,2 i & udaljenost <0,4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Medium);
}
drugo ako (udaljenost Promjena> = 0,4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Heavy);
}

3. Povlačenje FPS pištolja ili eksplozije

Ovo je daleko najzabavniji primjer haptičke povratne informacije. Kada gradite pucač od prve osobe u AR-u, vaš telefon je zaslon kao i oružje. Izvrstan način za simulaciju pucanja pištolja je jednostavna „Udarna jaka“, koja proizvodi jednu udarnicu ili „Obavijest o padu“, što stvara dvostruki udarac koji djeluje nalik naletom pištolja. Naravno, primjer u nastavku je lasersko oružje, ali, hej, to nije značilo pretjerano realno pamtiti?

4. Sudar s vrhom regulatora

U VR aplikacijama kao što su Oculus Medium ili Tilt Brush, jedan od ručnih kontrolera služi kao vršak četke kojim se korisnik kreće radi crtanja u 3D prostoru. Proveo sam sate slikajući u Tilt četkici i prirodno sam se zaista trudio oponašati ovo iskustvo s ARKitom.

Problem je što stvaranje preciznog iskustva s crtanjem na mobilnom postaje zaista teško. Izgubite osjećaj dubine kada je vaš telefon istovremeno i zaslon i kontroler. Jedna od najtežih stvari u 3D aplikacijama za crtanje na mobitelu je znati gdje je vrh četke u odnosu na ostale 3D objekte u sceni.

I, opet, haptici su bili odgovor. Otkrili smo da je jedan od načina da se korisnicima da osjećaj dubine zamišljanje da je četka zapravo štap kojim možete pogoditi 3D objekte koji su već na sceni. Davanje brzih povratnih informacija kako bi korisnici znali je li vrh četke u kontaktu s bilo kojim postojećim objektima na sceni, omogućava korisnicima precizno usmjeravanje četkice u 3D prostor.

Osjetivanje sudara vrhova četke

5. Snap za ponovno lokaliziranje u postojanim AR Appsima.

Na Placenoteu prvenstveno gradimo postojane aplikacije AR ili AR Cloud. Temeljna funkcionalnost ovih aplikacija je mogućnost trajnog spremanja AR sadržaja na fizičko mjesto. Korisnici ga mogu svaki put učitati na istoj lokaciji.

To se ponašanje naziva relokalizacija prizora.

Lokalizacija škljocne na svoje mjesto

Kako bi preselili AR scenu, korisnik prvo mora usmjeriti kameru svog telefona u stvarni svijet, a zatim pričekati dok kamera ne otkrije njezino mjesto.

S Placenoteom, relokalizacija se događa gotovo trenutno, ali sve se događa interno. Stoga moramo osmisliti način da obavijestimo korisnika o uspješnoj preseljenju. Vizualni znakovi možda su dovoljni, kao što se vidi u GIF-u gore. Ali suptilniji pokazatelj je pružiti brzinsko „udarno svjetlo“ kako bi sugerisali da ste sjeli na svoje mjesto u stvarnom svijetu.

Kako dodati haptics u svoj ARKit projekt

Ako radite s razvojem Swift for Native iOS ARKit, pogledajte ovaj vodič o provođenju brzinskih povratnih informacija u Native aplikacijama.

Ako radite s Unityom, moj omiljeni paket do sada je iOS Haptic Feedback paket u Unity Asset Store. To je 5 USD, ali vrijedi toga jer Unity ugrađen u funkciju Handheld.Vibrate () zapravo ne otkriva nove funkcije iOS Taptic Engine-a!

Paket povratnih veza za iOS nudi jednostavan prefab i skripte za dodavanje svih 7 vrsta haptičkih povratnih informacija u vašu aplikaciju. Možete ga dobiti putem veze trgovine Asset ovdje:

Stvari na koje treba paziti

Kao i kod svakog alata za oblikovanje, i ovdje je nekoliko stvari na koje morate biti pozorni kada u svoju mobilnu AR aplikaciju ugradite haptice.

Upotreba previše haptica može poremetiti praćenje ARKita

Testirajte utjecaj haptica na AR sesiju. Budući da se ARKit oslanja na inercijalno istraživanje kako bi pratio kretanje telefona, dodavanje previše vibracija tijekom ARKit sesije može malo odbaciti praćenje.

Upotreba previše haptika može pregrijati uređaj

Haptics je, na kraju krajeva, fizičko kretanje vašeg mobilnog uređaja i, prirodno, ima tendenciju da koristi više energije. Upotrijebite ovo štedljivo kako biste osigurali da se vaš telefon ne pregrijava ili prebrzo troši bateriju.

Previše brzopletih povratnih informacija može zbuniti i desenzibilizirati korisnika

To vrijedi za svaki haptički mehanizam. Nemojte pretjerivati. Konkretno, nemojte ga koristiti bez jasnog razumijevanja zašto su brzinske povratne informacije potrebne za radnju koju vaš korisnik provodi. Opasnost od prekomjerne upotrebe je da se vaš korisnik zbunjuje i zbog toga se desenzibilizira na vaše povratne informacije.

I to je to! Nadam se da vam je ovaj članak pružio korisnu dozu dizajnerskih ideja i uvjerio vas da uđete u svijet mobilnih AR-ovih haptika. Stvarno smo uživali u istraživanju različitih načina na koje bismo mogli simulirati senzacije dodira u mobilnom AR-u i ako imate još ideja, voljeli bismo razgovarati s vama. Ako vas zanima isprobati neki od naših primjera koda za mobilne AR-ove haptike, pošaljite mi e-poštu na neil [at] placenote.com.

Ako vas zanimaju trajne AR aplikacije ili ono što radimo na Placenoteu, pošaljite nam poruku na twitteru ili pogledajte mjesto Placenote.com