Project Insights DKMS VR

Wie der Einsatz von VR – jenseits von Hype und Entertainment – die wirklich wichtigen Themen adressiert.

Die DKMS – früher bekannt als die deutsche Knochenmarkspenderdatei – macht seit 1991 einen unermüdlichen Job, neue Spender zur Behandlung und Therapie von Blutkrebs und Leukämie zu finden. Dazu gehört tagtäglich viel Überzeugungs- und Informationsarbeit, um die in Frage kommenden Spender zu erreichen.

Dies geschieht zum einen in unzähligen Gesprächen mit Personen die in ihrem Umfeld direkt mit dem Thema Kontakt haben, aber auch an Orten an denen sich viele Menschen aufhalten und für Gespräche erreichbar sind. Dh. auf Events, Veranstaltungen und bei Informationstagen an Schulen. 

Die komplexen Vorgänge diese Krankheit erlebbar zu machen, ist eine anspruchsvolle Aufgabe. Es gibt bereits Informationsfilme, Animationen und Videos zu diesem Thema, welche die biologischen Prozesse veranschaulichen.

Als die engagierten Mitarbeiter der DKMS Anfang des Jahres auf mich zu kamen, um die Möglichkeiten einer VR Anwendung zu besprechen, war uns sofort klar, dass mit VR das Eintauchen in die Blutbahn und ein Erlebnis vor Ort, sowohl das Verständnis für die Funktionen der Blutzellen an sich, als auch die Dramatik des Krankheitsverlaufs, ein aktives Verständnis für diese heimtückische Krankheit vermitteln kann.

Der User wird Teil der Geschichte

Durch die Einbindung des Users in den Verlauf der Story, wird das allgemeine Anliegen zu einer persönlichen Sache. Man gibt sein Bestes und begreift intuitiv was jetzt und hier geschieht. In der VR Story ist man zwar selbst nicht betroffen, aber man begreift die Konsequenzen und welche Optionen tatsächlich zur Verfügung stehen.

In der “Mission” wird man von einem Professor im Labor “gebrieft” und auf die Reise in die Blutbahn geschickt – das ist der Science Fiction Part der Story.

Jedoch alles was danach geschieht, wurde von den Fachleuten der DKMS realistisch geprüft. Zb. dass die Suche in der Datenbank nicht einfach mal eben in Sekunden geschieht und dass im ersten Schritt versucht wird, durch Bestrahlung, die kranken Zellen zu reduzieren. Oft gewinnt man dadurch wertvolle Zeit für die eigentliche Suche.

Die wichtigste Aussage – ohne die vielen Spender geht es nicht!

Nach den ersten Einsätzen auf Messen wie der YOU! und der ComicCon in Köln zeigte sich, das Interesse ist riesig. Viele der meist jungen Teilnehmer, zeigen ein großes Interesse sowohl am Thema als auch der VR Anwendung und sind nach der Experience bereit sich als Spender freiwillig für diese gute Sache registrieren zu lassen.

Somit erfüllt VR seinen Ruf als “the ultimate empathy machine” (Chris Milk) da es auch schwierige und komplexe Themen erlebbar näher bringt.

Die VR Technik befreit sich

Die erste Version war noch für den Einsatz mit dem PC und der HTC Vive konzipiert. Es war von Anfang an klar, dass die Experience nur als 6DOF Anwendung die persönliche Präsenz glaubhaft transportieren kann.

Schon während der Entwicklung beobachteten wir den Markt und die Ankündigungen zu den ersten mobilen 6DOF Devices. Da die Oculus Quest erst nach dem ersten Starttermin der Anwendung verfügbar war, konzentrierten wir uns auf die Kombination von PC und HTC Vive mit Blick auf die verwendeten Assets und Szenen, um eine mögliche Portierung auf mobile Plattformen nicht komplett auszuschließen.

Als im Mai die ersten Oculus Quests verfügbar waren, nahmen wir uns die Zeit, alle Teile auf eine mobile Umsetzung zu prüfen. Bis auf wenige Effekte konnte die gesamte Anwendung problemlos übertragen werden.

Dies kam sowohl den zukünftigen Betriebskosten für Equipment und Transport, als auch der nun freien, kabellosen Bedienung zu Gute. Der neue Tragekomfort ist speziell bei VR Neulingen auf Events sehr wichtig, da technische Barrieren abgebaut werden und der Inhalt ohne Ablenkung zur Geltung kommt.

Im Rückblick war diese VR Produktion eine der spannensten Erfahrungen in vielerlei Hinsicht. Das Thema lag nicht wie für VR oft typisch im Bereich des Entertainments oder im B2B Schulungs- und Trainingssektor – am besten lässt es sich noch als Edutainment für eine gute Sache beschreiben und ich bin sehr froh mit meiner Arbeit einen kleinen Teil dazu beigetragen zu haben.

NINJA WARRIOR VR

Wir sind online! NINJA WARRIOR VR – die Adaption der RTL-Gameshow, die heute Abend mit der 2. Staffel auf Sendung geht – ist in den deutschen AppStores.

Pünktlich auf die Minute geht das von Bickhofe Art Direction / Game Production in Eigenregie produzierte VR-Game online. Besonderer Dank gilt meinem tollen Kollegen Eugene Krivoruchko der entscheidend an der Umsetzung der Gameplaysimuationen mitgewirkt hat.

Wie bereits beim VR Game zum RTL Dschungelcamp, entstand auch diese App in enger zusammenarbeit mit Robert Beckert von der IP Deutschland. Jedoch zog sich das Thema diesmal durch weite Teile der RTL Gruppe von Interactive, über CBC (Danke für den umfangreichen Server- und Videosupport), die RTL Martktforschung und dem RTL Marketing.

Zudem gibt es einen von McDonalds unterstützen Trainingslevel indem die Reaktion und Blickfokussierung geübt werden kann.

Gemeinsam erwarteten wir gespannt jedes Feedback der AppStores und testeten zusammen die Spiele und Disziplinen. Auch in den nächsten Wochen werden sicher noch Details verbessert und Updates folgen. Es bleibt also auch während der Staffel noch weiterhin spannend!

Das Game ist kostenlos für alle mobilen VR-Plattformen (Android, iOS und Oculus GearVR) erhältlich.

Google PlayStore
https://play.google.com/store/apps/details?id=com.rtlinteractive.ninjawarriorgvr

iTunes App Store
https://itunes.apple.com/de/app/ninja-warrior-das-360-vr-spiel-zur-tv-show/id1259259030

Oculus GearVR Store
https://www.oculus.com/gear-vr

Features:
– Vier Sport-Disziplinen der Show in VR können nachgespielt werden
– Exklusive Videos in der Video-Lounge
– Trainingslevel powered by McDonalds
– Scoreboard

Viel Spaß beim Spielen!

Hololens Development

Das erste Quartal des Jahres stand mit gleich drei Projekten im Zeichen der Hololens. Nach den ersten Tests und Gehversuchen in Unity, mussten zuerst die wesentlichen Interaktionen und Konzepte von AR erarbeitet werden.

Microsoft erklärt im DevForum die grundsätzliche Theorie der Bausteine wie Gaze, Airtap, Voice, Drag & Place Objects, Sharing und Spatial Mapping erst einmal ganz allgemein. Im Anschluss versuchte ich die Komponenten in Unity mit dem Hololens Toolkit ans Laufen zu bringen.

 

Alles lernt sich besser wenn man im Rahmen eines Auftrags oder Projekts Ei . konkretes Ziel verfolgt. Die Idee es „learning by earning“ lässt mich dabei weniger von der Funktionsweise her denken, sondern hilft die sinnvolle Anwendung im Blick zu behalten und gleichzeitig alle auftretenden technischen Probleme zu lösen.

In diesem Fall war vom Kunden eine AR Demo gewünscht. Als Idee entwickelte ich eine Art Auto Diagnosesystem in deren Mittelpunkt​ das verkleinerte Modell eines Wagens steht und dessen Daten exemplarisch vom Autobesitzer abgerufen und visualisiert werden. Die Darstellung in Originalgröße wäre in diesem Fall nicht zielführend, da der Bildausschnitt der Hololens immer nur einen kleinen Ausschnitt des Wagens zeigt und zu viel Information verloren gehen würde.

Beim Start der Anwendung, kann das Modell im Raum platziert werden. Anschließend fährt der Wagen auf einem quadratischen Stück Landstraße im Loop. Über Voice-Commands können nun ein Menü und zusätzliche Informationen eingeblendet werden.

Der Wagen kann zudem gedreht und in Baugruppen wie Fahrwerk, Exterior oder Interieur zerlegt werden.

Im Menü gibt es die Live Daten zur Ansicht der letzten gefahrenen Strecken und Verbrauchswerten, besondere Verschleißteile und Infos zum anstehenden Werkstatt-Termin.

Mit diesem Projekt waren die wesentlichen User-Interaktionen umgesetzt und es konnte einen Schritt weiter gehen.

Für eine weitere Kundenpräsentation wurden drei zusätzliche Hololens-Devices angeschafft. Um diese sinnvoll zu nutzen, lag der Entschluss, eine Shared Experience zu erstellen, nah.

Diesmal sollte ein Motorblock als Model im Fokus stehen und über alle Hololenses im Raum in Position, Rotation und Zustand geteilt werden.

Damit die Brillen miteinander reden können, benötigt man ein Netzwerk und einen Serverdienst im Hintergrund. Es existieren zwar Demos und Tutorials, diese sind allerdings schon ziemlich alt und laufen nicht mit den aktuellen Unity Hololens Toolkits, dennoch war dies ein guter Start um das Verhalten und das Konzept hinter der Sharing Funktion zu verstehen.

In der finalen Anwendung könnte ein beliebiger Teilnehmer den Spacial Anchor setzen und somit die Position des Motors für alle anderen festlegen. Per Airtap und Double Airtap konnte der Motor gestartet und gestoppt und der Motorblock transparent gemacht werden.

Zudem.konnten unterschiedliche Tuningvarianten per Voice-Commands eingestellt und mit allen Teilnehmern über das Netzwerk geteilt werden. Die Airtap und Voice-Commands kann jeder Teilnehmer nutzen um geimsam zu interagieren.

Das dritte Demo war gut geeignet um die Leistung der Hololens zu testen. Da die gesamte Technik in die Brille integriert ist und keine Kabelverbindung zum PC besteht, ist die Rechenleistung mit einem sehr guten Mobile Device vergleichbar.

Modelle mit bis zu 100.000 Polygonen sind bei entsprechender Optimierung und einer überschaubaren Anzahl an Materialien machbar. Zudem wurden mehrere Videoscreens integriert, die gleichzeitig im View des User liefen.

Dies führte nur beim gleichzeitigen Einsatz von Partikel-Effekten zu leichten Störungen im Sound, wenn alles gleichzeitig laufen sollte.

Die Idee des Demos was das Auftauchen des Delorean aus „Zurück in die Zukunft“. Mit einem Knall und Rauch kommt der Wagen durch ein Partikel Portal. Im Anschluss starten die Videos und kann kann per Drag den Wagen in seine Einzelteile zerlegen und mir Voice-Command zum Schweben bringen.

Ist das Demo zu Ende, hebt der Wagen endgültig ab, holt Anlauf und verschwindet mit den bekannten Flammenspuren in einem weiteren Partikel Portal.

Es gibt noch viel zu tun, aber die ersten Produktionen zeigten schon Recht deutlich welche Möglichkeiten und vor allem Unterschiede im Kontrast zu reinen VR Anwendungen in der AR Technik stecken.

Es zeigt sich auch, dass vieles nicht am Reißbrett konzipiert werden kann, sonders neue Ansätze nur durch Ausprobieren und Prototypen Entwicklung entstehen.

Für mich entsteht der Eindruck, dass sich AR Anwendungen tendenziell für ernsthafte Anwendungen anbieten und der Entertainment Aspekt nur für Spielkonzepte genutzt werden sollte, die unbedingt die Raumgeometrie in das Spiel einbeziehen. Zudem hinkt die Technik, in Bezug auf den Sichtbereichs und der Performance, den Ansprüchen der Gaming Community noch hinter. Doch ich bin mir sicher, dass sich dies mit der nächsten Generation von AR Devices schnell ändern wird.

The good, the bad and the boring

Immer wenn ich die Gelegenheit habe, Menschen zum ersten Mal eine neue VR Experience zu zeigen, stelle ich typische Reaktionen und Verhaltensweisen fest. Ich beziehe mich jetzt mal auf Vorführungen der HTC Vive, da diese aktuell die meisten Sinne gleichzeitig anspricht und somit für neue Nutzer die immersivste Erfahrung beim Erstkontakt darstellt.

Es werden in Kombination ganz oder teilweise diese Sinneswahrnehmungen vermittelt:

  • Sichtfeld und Kopfbewegung in drei Achsen
  • Spatial sound
  • Handbewegungen im Raum
  • Tastsinn durch Vibration
  • Gehen, drehen, sich auf Bodenniveau bücken oder bis ca. 250 cm strecken

Dabei empfehle ich meist nur einen der beiden Ohrstöpsel zu nutzen, um noch ein Minimum an externen Informationen mitzubekommen.

Abgesehen davon, dass der „Wow“ Effekt noch nie ausgeblieben ist, zeigt sich doch sehr deutlich, ob und mit wie viel Neugier und Freude manche Nutzer an das VR Erlebnis herangehen.

image

Die John Anderton’s

Einige lassen sich sofort auf das Erlebnis ein und legen los und saugen das Environment geradezu ein. Es wird sich umgeschaut, angefasst, heruntergebeugt und wild gestikuliert. Dabei wird die Chaperone Zone noch gerade so als rote Linie akzeptiert. Diese Nutzer sehen all ihre Phantasien und Erwartungen seit Minority Report bestätigt, legen einfach los und haben viel Spaß daran.

image

Rehe im Scheinwerferlicht

Die andere Gruppe ist nicht minder beeindruckt, steht aber steif wie ein Brett, die Arme gesenkt und den Blick nach vorn gerichtet in Erwartung, dass gleich irgendetwas auf sie zufliegt. Man muss oft erst drauf hinweisen, dass man ggf. mal den Kopf drehen oder gar den ganzen Körper in eine andere Ecke bewegen könnte. Die Hände werden komplett vergessen. Zu Beginn reicht man die Controller, dh. man weiss, dass man etwas in den Händen hält, aber nachdem die Arme einmal nach unten aus dem Sichtfeld gebracht wurden, sind diese erstmal vergessen.

image

Ich frage mich ob es eine typische Reaktion jahrelanger Konditionierung durch Bildschirmmedien darstellt und viele Nutzer von einer frontalen Bespielung ausgehen, bei der, der Screen evtl. etwas breiter ist als normal, aber immer noch als Screen angesehen wird.

Für mich als Konzepter, Art Director und Developer (One man Army – krass, oder?) machen diese HandsOn Erfahrungen einen wichtigen Teil meiner Arbeit aus. Anders als nur aus Metadaten und Clickstats, das Userverhalten herauszulesen, ist die direkte Erfahrung durch Beobachtung eine unschätzbare Quelle an Informationen zu einer Zeit in der man noch genug „Probanden“ ohne Vorkenntnisse finden kann.

image

Was funktioniert gut und was nicht? Wo liegen die Fehler im Detail und wie lassen sich durch eine minimale Verbesserung große Verbesserungen erreichen?

Wenn man sich mit Auftraggebern über die Anwendungsbereiche und Einsatzmöglichkeiten unterhält, kommt unweigerlich die Frage auf, ob, wie und womit man in VR einsteigen kann oder sollte.

Die Antwort ist „jetzt“.

Wie in den 90ern gilt es jetzt die ersten Erfahrungen (manche nennen sie Fehler) zu machen. Damals war auch nicht alles schön im Netz. Auf Websites deutscher DAX Unternehmen rotierten Planeten und blinkten bunte Techno-Fonts. Heute erinnert man sich nur noch, wer von diesen Firmen schon früh aktiv war und mitgespielt hat. Welchen Stellenwert VR haben wird , wird die Zeit zeigen. Meine Einschätzung dazu ist, dass die Experience einfach zu gut ist, um sie als bloßen Hype abzutun. We will see.

image

Wer heute mit einer VR Anwendung nach außen geht, profitiert vom unbiased Feedback und dem eigenen Stolpern und Hinfallen um im Anschluss sicher und ohne Stützräder Fahrradfahren zu können.

Fehler werden teurer, wenn man sie zu spät macht.

Agenturen werden in zwei Jahren schon ganz andere Preise aufrufen und nur bei wirklich neuen – auf für sie selbst spannenden Cases – mit in die Budgetverantwortung gehen.

image

Endkunden akzeptieren dann auch schon weniger Ecken und Kanten, da auch sie schon wesentlich mehr Berührungspunkte hatten und auf eigene Erfahrungen zurückgreifen können.

Zuletzt ist die Angst vor den Kosten in sofern nur dann begründet, wenn man keinen vertrauenswürdigen Partner findet. Dieser muss ein eigenes Interessse mitbringen, dass der Kunde sein internes Knowhow mit aufbauen kann.

Wer das Ganze als „closed box“ verkauft und sich als Herrscher über das neue Medium exponiert, wird als Beratungs-, und Kreativ-Dienstleister langfristig scheitern.

Nur gemeinsam wird es funktionieren. Brands brauchen überzeugende Stories und Storyworlds für ihre Kunden – Dienstleister die Zeit, das Vertrauen und Budgets um die Cases verantwortungsvoll zu entwickeln.

stark

„That’s how Dad did it, that’s how America does it… and it’s worked out pretty well so far.“

Tony Stark, Iron Man

WAA! for HTC Vive – Lighthouse Version – Part 1

OK, here’s the plan… Ich werde in den nächsten Tagen mein VR Game WAA! auf das Lighthouse™ System der HTC Vive umbauen. Anstelle des First Person Modes wird man den Astronauten von außen sehen und mit den Hand-Controllern supporten.

IMG_20160512_112233

Statt durch Blickfokussierung die Rakete zu starten, soll der Spieler diesmal mit dem Hand-Controller eine Verbindung zwischen Astronaut und Asteroid ziehen. Steht die Verbindung, startet die Rakete und man kann im Raum den Kurs der Rocket verfolgen. Die Goodies im Raum, möchte ich mit einer art Traktor-Strahl einsammeln und zum Astronaut bringen.
Klingt soweit erstmal logisch und können gut funktionieren.

Nun ergeben sich daraus einige neue Tasks. Zum einen benötige ich eine neue Drawfunktion um eine sichtbare Verbindung ins Weltall zu zeichnen. D.h. ich muss mir eine Art rudimentäres Tilt Brush bauen. Erste Versuche die Trigger der Handcontroller anzusprechen hab ich schon lauffähig und das allgemeine Development Setup unter Unity war problemlos bei der Einrichtung. Soweit ich nachlesen konnte, sollte man sowohl bei der Entwicklung für  Oculus Rift (CV1) als auch bei der HTC Vive auf Betaversionen von Unity verzichten und bei der aktuellen Stable 5.3.4 bleiben.

Das Unity Package von HTC ist sehr übersichtlich und die Verbindung von Brille und Controller tat vom Fleck weg. Ich hätte nicht gedacht, dass es ausreicht von einer der beiden Basisstationen gesehen zu werden und man auch außerhalb der Chaperone Zone problemlos weiterentwickeln kann. Sehr praktisch wenn man nicht für jeden Zwischentest aufstehen muss.

Meine erste Funktion soll jetzt bei gedrückten Trigger die Raumposition in ein Array schreiben sobald ein Mindestabstand zum vorherigen Punkt erreicht ist. Gleichzeitig soll eine Draw-Funktion eine Linie über alle Punkte im Array zeichnen. Lässt man den Trigger los, werden die Punkte und die Linie wieder gelöscht.

drawline

In Teil 2 wird das Ganze mal in das bestehende WAA! Projekt eingebaut und mit den Größenverhältnissen und der Spielerperspektive experimentiert.