Share
Intel RealSense-technologie koppelt een 3D-camera en microfoonarray met een SDK waarmee u gebaren tracking, 3D-scannen, gezichtsuitdrukkinganalyse, stemherkenning en meer kunt implementeren. In dit artikel zal ik kijken wat dit betekent voor games en uitleggen hoe je aan de slag kunt gaan als game-ontwikkelaar.
RealSense is ontworpen rond drie verschillende randapparaten, elk met een 3D-camera. Twee zijn bedoeld voor gebruik in tablets en andere mobiele apparaten; de derde - de F200 aan de voorkant - is bedoeld voor gebruik in notebooks en desktops. Ik zal me in dit artikel op de laatste concentreren.
De F200 is al opgenomen in een aantal verschillende notebooks, evenals een aantal andere apparaten, en zal binnenkort beschikbaar zijn als een stand-alone USB-randapparaat. (Je kunt al een dev kit-versie bestellen of reserveren voor ongeveer $ 100.)
Het bestaat uit:
De infraroodprojector en camera kunnen diepte-informatie ophalen om een intern 3D-model te maken van waar de camera ook op wordt gericht; de kleureninformatie van de conventionele camera kan dan worden gebruikt om dit model in te kleuren.
De SDK maakt het vervolgens eenvoudiger om de mogelijkheden van de camera in games en andere projecten te gebruiken. Het bevat bibliotheken voor:
Merk op dat RealSense niet alleen je positie van iemands neus of het topje van hun rechter wijsvinger in 3D-ruimte kan volgen, maar ook verschillende ingebouwde bewegingen en uitdrukkingen kan detecteren, zoals deze:
Dus in plaats van code te schrijven om te controleren of de hoeken van de mond van de speler naar boven zijn gebogen en af te leiden of ze wel of niet glimlachen, kun je gewoon de RealSense-bibliotheek vragen om het "glimlach" -gebaar..Hier zijn een paar voorbeelden van hoe RealSense kan worden (en wordt) gebruikt in games:
Nevermind, een psychologisch horrorspel, gebruikt RealSense voor biofeedback: het meet de hartslag van de speler met behulp van de 3D-camera en reageert vervolgens op het angstniveau van de speler. Als je je coolheid verliest, wordt het spel moeilijker!
MineScan, door voidALPHA, is een proof-of-concept waarmee u real-world objecten (zoals opgezette dieren) naar Minecraft kunt scannen. Elke 3D PC-game met de nadruk op mods of personalisatie zou de scanmogelijkheden van de RealSense-camera kunnen gebruiken om spelers hun eigen objecten (of zelfs zichzelf!) In het spel te laten invoegen..
Faceshift gebruikt RealSense voor bewegingen die gezichten in detail vastleggen. Deze technologie kan in realtime worden gebruikt, in een game, wanneer spelers met elkaar praten, of tijdens de productie om acteursuitdrukkingen op te nemen, evenals hun stem voor meer realistische personages.
There Came an Echo is een tactische RTS die de spraakherkenningsmogelijkheden van RealSense gebruikt om de speler zijn squadron te laten besturen. Het is gemakkelijk om te zien hoe dit kan worden aangepast aan, bijvoorbeeld, een teamgebaseerde FPS.
Jaren geleden legde Johnny Lee uit hoe je een Wii-controller en sensorbalk (mis) kunt gebruiken om de positie van de speler te volgen en de weergave in de game dienovereenkomstig aan te passen. Er zijn maar weinig games die hier echt gebruik van hebben gemaakt (ongetwijfeld vanwege de onorthodoxe opzet die het vereiste) - maar dankzij de hoofd- en face-trackingmogelijkheden van RealSense is dit mogelijk en veel eenvoudiger.
Er zijn ook verschillende spellen die RealSense al gebruiken om hun op gebaren gebaseerde besturingselementen van stroom te voorzien:
Laserlife, een scifi-exploratiespel uit de studio achter de BIT.TRIP-serie.
Head of the Order, een vechtgame in toernooisoort, ingebed in een fantasiewereld, waarbij spelers handgebaren gebruiken om spreuken op elkaar uit te drukken.
Space Between, waarin je zwemmende handbewegingen gebruikt om schildpadden, vissen en andere zeedieren te begeleiden door een reeks taken in een onderwateromgeving.
Madagascar Move It !, een kindergame vergelijkbaar met de Let's Dance-serie.
Gebaarbedieningen zijn niet bepaald nieuw voor gaming, maar eerder waren ze bijna exclusief voor Kinect. Nu kunnen ze worden gebruikt in pc-games, dat betekent Steam en zelfs het webplatform.
Eerste stap: download de SDK. (Nou, OK, de eerste stap is waarschijnlijk om een apparaat met een RealSense-camera te krijgen of een dev-kit te reserveren.)
De SDK bevat:
Bekijk vervolgens de Intel RealSense SDK Training-site. Hier vindt u handleidingen om aan de slag te gaan, tutorials om u te helpen bij het gebruik van bepaalde functies (waaronder de Unity Toolkit) en video's van eerdere webinars. We zullen ook de komende weken RealSense-tutorials over Tuts + publiceren.
Intel's YouTube-kanaal heeft een geweldige afspeellijst met video's over ontwikkeling voor RealSense. Deze hebben een veel grotere focus op UX en UI dan de bovenstaande tutorials; bekijk deze video voor een voorbeeld:
Deze UX-richtlijnen (PDF) zijn een goede aanvulling op de bovenstaande video's.
Zodra u een goed overzicht hebt van wat de SDK kan doen en hoe de verschillende bibliotheken werken, kunt u de documentatie voor detail bekijken..
Lees ten slotte de officiële forums om te chatten met andere ontwikkelaars, bekijk waar ze aan werken en vraag advies.
We hebben besproken wat RealSense is, waarvoor game-ontwikkelaars het gebruiken en hoe je ermee aan de slag kunt gaan in je eigen games. Houd de Tuts + Game Development-sectie de komende weken in de gaten voor een aantal tutorials over scannen op het hoofd, typen zonder toetsenbord en herkenning van uitdrukkingen.
Het Intel® Software Innovator-programma ondersteunt innovatieve onafhankelijke ontwikkelaars die in staat zijn om toekomstgerichte projecten te creëren en te demonstreren. Vernieuwers profiteren van sprekerschap en demomogelijkheden tijdens evenementen en bijeenkomsten voor ontwikkelaars.
Intel® Developer Zone biedt tools en how-to-informatie voor platformonafhankelijke app-ontwikkeling, platform- en technologie-informatie, codevoorbeelden en peer-expertise om ontwikkelaars te helpen innoveren en slagen. Word lid van onze community voor de internet van dingen, Android *, Intel RealSense-technologie, Moderne code, Game ontwikkelaar en Ramen* om gereedschappen te downloaden, toegang te krijgen tot ontwikkelkits, ideeën uit te wisselen met gelijkgestemde ontwikkelaars en deel te nemen aan hackathons, wedstrijden, roadshows en lokale evenementen.
Accentsconagua