Hololens Development

Das erste Quartal des Jahres stand mit gleich drei Projekten im Zeichen der Hololens. Nach den ersten Tests und Gehversuchen in Unity, mussten zuerst die wesentlichen Interaktionen und Konzepte von AR erarbeitet werden.

Microsoft erklärt im DevForum die grundsätzliche Theorie der Bausteine wie Gaze, Airtap, Voice, Drag & Place Objects, Sharing und Spatial Mapping erst einmal ganz allgemein. Im Anschluss versuchte ich die Komponenten in Unity mit dem Hololens Toolkit ans Laufen zu bringen.

 

Alles lernt sich besser wenn man im Rahmen eines Auftrags oder Projekts Ei . konkretes Ziel verfolgt. Die Idee es „learning by earning“ lässt mich dabei weniger von der Funktionsweise her denken, sondern hilft die sinnvolle Anwendung im Blick zu behalten und gleichzeitig alle auftretenden technischen Probleme zu lösen.

In diesem Fall war vom Kunden eine AR Demo gewünscht. Als Idee entwickelte ich eine Art Auto Diagnosesystem in deren Mittelpunkt​ das verkleinerte Modell eines Wagens steht und dessen Daten exemplarisch vom Autobesitzer abgerufen und visualisiert werden. Die Darstellung in Originalgröße wäre in diesem Fall nicht zielführend, da der Bildausschnitt der Hololens immer nur einen kleinen Ausschnitt des Wagens zeigt und zu viel Information verloren gehen würde.

Beim Start der Anwendung, kann das Modell im Raum platziert werden. Anschließend fährt der Wagen auf einem quadratischen Stück Landstraße im Loop. Über Voice-Commands können nun ein Menü und zusätzliche Informationen eingeblendet werden.

Der Wagen kann zudem gedreht und in Baugruppen wie Fahrwerk, Exterior oder Interieur zerlegt werden.

Im Menü gibt es die Live Daten zur Ansicht der letzten gefahrenen Strecken und Verbrauchswerten, besondere Verschleißteile und Infos zum anstehenden Werkstatt-Termin.

Mit diesem Projekt waren die wesentlichen User-Interaktionen umgesetzt und es konnte einen Schritt weiter gehen.

Für eine weitere Kundenpräsentation wurden drei zusätzliche Hololens-Devices angeschafft. Um diese sinnvoll zu nutzen, lag der Entschluss, eine Shared Experience zu erstellen, nah.

Diesmal sollte ein Motorblock als Model im Fokus stehen und über alle Hololenses im Raum in Position, Rotation und Zustand geteilt werden.

Damit die Brillen miteinander reden können, benötigt man ein Netzwerk und einen Serverdienst im Hintergrund. Es existieren zwar Demos und Tutorials, diese sind allerdings schon ziemlich alt und laufen nicht mit den aktuellen Unity Hololens Toolkits, dennoch war dies ein guter Start um das Verhalten und das Konzept hinter der Sharing Funktion zu verstehen.

In der finalen Anwendung könnte ein beliebiger Teilnehmer den Spacial Anchor setzen und somit die Position des Motors für alle anderen festlegen. Per Airtap und Double Airtap konnte der Motor gestartet und gestoppt und der Motorblock transparent gemacht werden.

Zudem.konnten unterschiedliche Tuningvarianten per Voice-Commands eingestellt und mit allen Teilnehmern über das Netzwerk geteilt werden. Die Airtap und Voice-Commands kann jeder Teilnehmer nutzen um geimsam zu interagieren.

Das dritte Demo war gut geeignet um die Leistung der Hololens zu testen. Da die gesamte Technik in die Brille integriert ist und keine Kabelverbindung zum PC besteht, ist die Rechenleistung mit einem sehr guten Mobile Device vergleichbar.

Modelle mit bis zu 100.000 Polygonen sind bei entsprechender Optimierung und einer überschaubaren Anzahl an Materialien machbar. Zudem wurden mehrere Videoscreens integriert, die gleichzeitig im View des User liefen.

Dies führte nur beim gleichzeitigen Einsatz von Partikel-Effekten zu leichten Störungen im Sound, wenn alles gleichzeitig laufen sollte.

Die Idee des Demos was das Auftauchen des Delorean aus „Zurück in die Zukunft“. Mit einem Knall und Rauch kommt der Wagen durch ein Partikel Portal. Im Anschluss starten die Videos und kann kann per Drag den Wagen in seine Einzelteile zerlegen und mir Voice-Command zum Schweben bringen.

Ist das Demo zu Ende, hebt der Wagen endgültig ab, holt Anlauf und verschwindet mit den bekannten Flammenspuren in einem weiteren Partikel Portal.

Es gibt noch viel zu tun, aber die ersten Produktionen zeigten schon Recht deutlich welche Möglichkeiten und vor allem Unterschiede im Kontrast zu reinen VR Anwendungen in der AR Technik stecken.

Es zeigt sich auch, dass vieles nicht am Reißbrett konzipiert werden kann, sonders neue Ansätze nur durch Ausprobieren und Prototypen Entwicklung entstehen.

Für mich entsteht der Eindruck, dass sich AR Anwendungen tendenziell für ernsthafte Anwendungen anbieten und der Entertainment Aspekt nur für Spielkonzepte genutzt werden sollte, die unbedingt die Raumgeometrie in das Spiel einbeziehen. Zudem hinkt die Technik, in Bezug auf den Sichtbereichs und der Performance, den Ansprüchen der Gaming Community noch hinter. Doch ich bin mir sicher, dass sich dies mit der nächsten Generation von AR Devices schnell ändern wird.

Herr A. bleibt zuhause

Roboter in der Wirtschaft: Millionen Jobs fallen weg
http://www.faz.net

Angeblich massive Jobverluste durch Digitalisierung und Automatisierung
https://www.heise.de

TECHNOLOGIEWANDEL: Maschinen könnten 18 Millionen Arbeitnehmer verdrängen
https://www.welt.de

Fast täglich kommen diese und andere Prognosen aus der Wirtschaft, die den digitalen Wandel und die Fortschritte der Robotik im Alltag als Schreckensszenario darstellen. Gleichzeitig muss diese Theorie als Argument für anstehende Veränderungen, u.a. dem bedingungslosen Grundeinkommen, herhalten.

Dieser Text soll aber nicht den Sinn oder Unsinn des BGE hinterfragen. Dazu gibt es bestimmt viele andere Gründe, die wir im gesellschaftlichen Wandel suchen und finden werden. Vielmehr wird außer acht gelassen (oder es fehlt einfach die Vorstellungskraft), dass die Automation und die Entwicklung neuer Technologien auch diesmal große Chancen auf allen Bildungsebenen bietet.

Herr A. war in seinem Leben schon zweimal von digitalen Wandel betroffen. Als studierter Jurist war er 15 Jahre in einer Kanzlei für Familienrecht tätig. Sein Alltag bestand in der Regel aus der Sichtung von Vermögenswerten, der Berechnung von Unterhaltsansprüchen und dem Diktieren von Schriftsätzen.

Seit die Kanzlei 2018 den Testbetrieb von IBM Watson gestartet hat, wurden die Standardfälle, die seit jeher nach dem gleichen Schema ab liefen, in kürzester Zeit abgewickelt. Selbst Ausnahmen konnte das System gut bearbeiten und machte die Arbeit effizienter und schneller. Nach kurzer Zeit konnte die Kanzlei die besten Kollegen für die wirklich komplexen Fälle abziehen oder fit machen für andere Fachgebiete, die mehr Beratungsleistung und Kreativität am Klienten erfordern.

Herrn A. lag das Kreative nicht so. Er konnte zwar sehr gut mit Menschen, vielmehr allerdings noch mit Zahlen und Bilanzen, anstatt Lücken im Gesetz zu finden und Präzedenzfälle zu recherchieren. Leider konnte Watson das besser…

Nach dem Ausstieg aus der Kanzlei genoss Herr A. die erste Zeit, da die Abfindung nicht schlecht war und er grundsätzlich Lust auf eine berufliche Veränderung hatte. Er besuchte diverse Fortbildungsmaßnahmen und fuhr nebenbei für das Taxiunternehmen eines alten Freundes. Den Schein hatte er noch aus seiner Studienzeit und er mochte fürs erste die Abwechslung.

Eigentlich hatte er nicht vor ewig weiter zu fahren, aber nach und nach, kamen ein paar Jahre zusammen. Das Geschäft lief gut, er hatte viele Stammgäste und die neue Technik wie „MyTaxi“ schien im Vergleich zu der Zeit, als er noch als Student gefahren ist, wesentlich flexibler und komfortabler zu sein. Ein paar alte Hasen hatten zwar immer was zu meckern, aber die meisten mochten das neue System. Hinzu kam, dass die neuen Modelle im Grunde von selber fuhren. Der Fahrer konnte zwar eingreifen, aber das war nur noch selten nötig. Es ging vor allem um die Versicherung und das gute Gefühl des Fahrgastes. Aber die wurden auch immer jünger und fragten oft was er eigentlich noch hinterm Lenkrad zu suchen hätte.

Im Frühjahr 2022 wurde das erste autonom fahrende Taxi in Betrieb genommen – im Herbst war schon ein drittel des Fuhrparks ersetzt. Ein paar Fahrer konnten sich mit Stammgästen gut über Wasser halten, aber man spürte schon deutlich, dass es Jahr für Jahr schwieriger wurde einen passablen Umsatz einzufahren.

Eines Tages stand er am Straßenrand und las auf dem Handy Nachrichten. Eine Pre-Roll Werbung im eingebetteten News-Clip suchte nach Controllern für verantwortungsvolle Transport- und Logistikprojekte. Versprochen wurden individuelle Aufgaben an lokalen und internationalen Orten. Angeboten wurden zudem 0ptionale Sprachkurse und technische Weiterbildung.

Das Interessante war, dass es so schien als ob jede Art von Vorkenntnis zum Einstieg geeignet war. Ein Bewerbungsformular bot je nach Ausgangsqualifikation unterschiedliche Einsatzmöglichkeiten an. Führerscheine, Ortskenntnisse, Sprachen, Schul- und Hochschulabschlüsse, Ausbildungen und selbst eine abgebrochene Lehre wurde im Profil berücksichtigt und akzeptiert.

Wie Herr A. im ersten Gespräch heraus fand, ging es im wesentlichen um die Steuerung von Robotern und Maschinen – sog. „Receiver“ – für jeder erdenkliche Art von Arbeiten. Viele Prozesse sind auch in Zukunft zu individuell und nicht kurzfristig automatisierbar, als dass man diese einer KI überlassen möchte. Gleichzeitig hat man erkannt, dass es nicht sinnvoll ist zwei mal täglich im Stau zu stehen, um dann einen Job zu machen, der den Arbeiter körperlich überfordert und krank macht.

Die Controller bekommen eine AR Brille die sie von zu Hause aus mit der Arbeitsstelle verbindet. Der Job kann überall auf der Welt sein und von der häuslichen Krankenpflege mit engem Kontakt zum Menschen, in der Natur bei der Waldarbeit, im Zoo Tiger füttern, kochen und spülen im Pariser Hotel, Päckchen mit Drohnen ausliefern bis hin einfach nur in der KITA etwas vorlesen, gehen.

Die Möglichkeiten orientieren sich an den Interessen und Qualifikationen des Controllers. Möchte er zum Beispiel gerne eine technische Zusatzqualifikation erwerben, bekommt er bei der Installation von Wasseranschlüssen die entsprechenden Handlungsanweisungen und DIN Normen eingeblendet. Die Tätigkeit wird dann aufgezeichnet und nach 1.000 Stunden wird ihm die zertifizierte Fähigkeit bestätigt. Natürlich können auch Laien nur nach der digitalen Anweisung den Vorgang durchführen. Dies wird ebenfalls auf Video festgehalten und später ggf. bei Schadensersatzansprüchen von der Versicherung in der Vergütung der Versicherungssumme berücksichtigt.

Die wenigsten Jobs werden alleine durchgeführt. Oft hat man mit anderen Controllern zu tun und arbeitet „Hand in Hand“. Gute Teams werden immer gesucht und oft wieder gebucht. An Orten wie Ölplattformen, auf Forschungsstationen, in Krisengebieten und in der Raumfahrt, kommen nur die besten Controller-Teams in Frage.

Herr A. hat im ersten Jahr – zum Üben – viele Jobs bei den „gefahren und gesteuert“ wurde angenommen. Der erste Arbeitstag war auf dem Flughafen von Chicago. Er steuerte Gepäckwagen auf dem Rollfeld. Mit seiner AR Brille konnte er genau sehen ob alle Gepäckstücke verladen waren und sich jederzeit umschauen, um zu sehen, ob ein Koffer droht herunter zu fallen. Falls dies passieren sollte, kommt entweder ein anderer Kollege zu Hilfe oder er selbst wechselt schnell in einen „Walker“ der den Koffer holt und wieder auflegt. In den kommenden Wochen kannte er alle großen Flughäfen der US Ost- und Westküste und ein paar europäische Drehkreuze. Es ging nicht nur um Gepäck, sondern auch alle internen Logistikbereiche der Flughäfen. Das war ein Weile spannend, aber er wollte sich dann doch auch noch anderweitig umschauen.

Ähnliche Aufgaben warteten in großen Krankenhäusern und Pflegeheimen. Hier war der Unterschied, dass man oft auf die gleichen Personen traf und man sich auch schnell an den Kontakt gewöhnte. Da die meisten „Receiver“ über einen externen Monitor verfügten, konnten diese auch sehen, wer gerade hinter dem Steuer saß. Auch kurze Unterhaltungen waren möglich und machten die Arbeit sehr angenehm.

Mit der Zeit bekam Herr A. das Angebot Jobs für sogenannte „Assisted Work Areas“ zu übernehmen. In AWA’s wird sehr eng mit dem Personal vor Ort kooperiert. Speziell in Krankenhäusern heißt das z.B. dass körperlich anspruchsvolle Arbeiten, wie das Umlagern des Patienten durch den Controller durchgeführt wird, während die Pfleger im Abstand von weniger als 50 cm den Intensivpatienten versorgen. Die enge Zusammenarbeit erfordert ein hohes Maß an Konzentration und Erfahrung und wird nur Controllern angeboten, die über entsprechende Vorkenntnisse verfügen und das Vertrauen des Personals vor Ort genießen.

Herr A. mag die Abwechslung und die Möglichkeit seine Erfahrung aus Arbeitsprozessen aus der ganzen Welt einzubringen. Auch wenn er seine Jobs meist an vertrauten Orten annimmt, schaut er sich immer wieder inhaltlich gleiche Einsatzgebiete an anderen Orten an.

An manchen Tagen nutzt er auch die „Random“ Funktion. Diese schlägt ihm nach dem Zufallsprinzip Jobs vor, die innerhalb seines Profils verfügbar sind und von Freunden als positive Experience markiert wurden. Besonders zeitlich begrenzte Jobs auf Events bieten dabei abwechslungsreiche und unvergessliche Erfahrungen.

Am Ende des Tages legt Herr A. sein AR Headset ab. Er denkt darüber nach wie oft der technische Fortschritt bereits interessante Berufe und kunstvolles Handwerk zunichte gemacht hat. Viele seiner neuen „Jobs“ werden mit Sicherheit auch bald durch Algorithmen gesteuert werden – andere werden neu entstehen. In jedem Fall ist der sogenannte „Arbeitsmarkt“ ein globaler geworden. Tarife werden jetzt vom jeweiligen Land des Einsatzortes bestimmt und die Länder stehen im Wettbewerb um Controller auf der ganzen Welt. Das hat zur Folge, dass es nicht mehr unbedingt sinnvoll ist, für bessere Arbeit seine Heimat zu verlassen.

Zudem werden tagtäglich Ressourcen in Form von Zeit, Energie und Umwelt gespart. Vieles ist jetzt anders, manches besser und ein paar Dinge sicher auch schlechter als früher. Aber nicht alles.