Am Mittwochmorgen zeigte Microsoft ein Projekt, an dem sie seit sieben Jahren arbeiten, ein Augmented-Reality-Headset namens Project HoloLens .
Die Vision ist ambitioniert: Sie wollen die Art und Weise, wie Menschen mit Computern interagieren, grundlegend verändern, indem sie eine Brille bauen, die virtuelle und reale Inhalte im physischen Raum des Nutzers fließend vermischen kann. Das ist wie bei der Virtual-Reality-Technologie Warum Virtual-Reality-Technologie in 5 Jahren den Kopf zerreißen wird Warum Virtual-Reality-Technologie in 5 Jahren den Kopf zerreißen Die Zukunft der virtuellen Realität umfasst Kopf-, Augen- und Expression-Tracking, simulierte Berührung und vieles mehr. Diese erstaunlichen Technologien werden Ihnen in 5 Jahren oder weniger zur Verfügung stehen. Lesen Sie mehr, aber grundsätzlich mächtiger. Außerdem wollen sie die gesamte Verarbeitung vor Ort auf der Brille erledigen - kein Computer, kein Telefon, keine Kabel. Sie starten sogar eine spezielle Version von Windows nur für die neue Hardware. Dies ist die nächste Stufe in der technologischen Evolution für all diese AR-Spiele. Augmented Reality Apps: Nützlich oder einfach Hype? MakeUseOf Tests Augmented Reality Apps: Nützlich, oder nur Hype? MakeUseOf Tests Im Jahr 2011 prognostizierten Analysten den Anstieg von Augmented Reality Mobile Apps. Die entstehende Technologie würde die Art und Weise, wie wir mit unseren mobilen Geräten interagieren, revolutionieren. Flash forward zwei Jahre und Dutzende von AR-Apps bevölkern alle ... Lesen Sie mehr Sie installiert auf Ihrem Handy, dass einmal und seitdem nicht berührt haben.
Ihr Zeitrahmen ist noch ambitionierter als ihre Ziele: Sie wollen in diesem Frühjahr Entwickler-Kits und das Consumer-Produkt "während des Windows 10-Zeitrahmens" liefern. Hier ist die Tonhöhe.
All das hört sich gut an, aber ich gebe zu, dass ich ziemlich skeptisch bin.
Die Technologien, die Microsoft verwendet, haben ernsthafte, grundlegende Herausforderungen, und bisher hat Microsoft sehr eng darüber gesprochen, wie (oder ob) sie sie gelöst haben. Wenn sie sie nicht gelöst haben, ist ihr Ziel, innerhalb eines Jahres zu versenden, sehr besorgniserregend. Das letzte, was VR und AR brauchen, ist eine große Firma, die ein anderes halbgebackenes Produkt wie die Kinect liefert. Erinnerst du dich an die Project Natal Demo von 2009?
Ohne weitere Umschweife, hier sind die fünf wichtigsten Dinge, die ich über die HoloLens wissen möchte.
Ist das eine Lichtfeldanzeige?
Um das zu verstehen, müssen wir uns ein wenig genauer mit 3D beschäftigen und wie es funktioniert. Um das Gefühl einer realen, greifbaren 3D-Welt zu bekommen, integrieren unsere Gehirne viele verschiedene Arten von Informationen. Wir erhalten drei grundlegende Hinweise auf die Welt:
- Stereo-Tiefe - die Diskrepanz zwischen dem, was unsere beiden Augen sehen. So funktioniert das, wie 3D-Filme funktionieren
- Bewegungsparallaxe - subtile Bewegungen unseres Kopfes und Torsos geben uns zusätzliche Tiefenmarkierungen für Objekte, die weiter entfernt sind
- Optischer Fokus - wenn wir uns auf etwas konzentrieren, verformen sich die Linsen unserer Augen physisch, bis es in den Fokus kommt; Nahfeldobjekte erfordern mehr Linsenverzerrung, was Tiefeninformationen darüber liefert, was wir betrachten
Der optische Fokus lässt sich leicht selbst überprüfen: Schließen Sie ein Auge und halten Sie Ihren Daumen vor eine Wand im Raum. Dann verschiebe den Fokus von deinem Thumbnail auf die dahinter liegende Fläche. Wenn Sie über Ihren Daumen schauen, verschiebt sich Ihr Daumen aus dem Fokus, weil die Linse Ihres Auges jetzt weniger deformiert ist und das von ihm kommende Licht nicht korrekt sammeln kann.
VR-Headsets wie das Oculus Rift liefern die ersten beiden Cues sehr genau, aber nicht die letzten, was überraschend gut funktioniert: Unsere Augen sind standardmäßig auf Entspannung eingestellt, da die Optik die Bilder fokussiert, da das Licht von unendlich weit her kam. Das Fehlen des optischen Fokus ist unrealistisch, aber normalerweise nicht störend. Sie können immer noch sehr coole Spiele erleben 5 Oculus Rift Gaming-Erlebnisse, die Sie umhauen 5 Oculus Rift Gaming-Erlebnisse, die Sie umhauen werden Jetzt, da die zweite Generation des Oculus Rift-Entwicklungskits draußen ist und in den Händen von Entwicklern auf der ganzen Welt ist, Schauen wir uns einige der besten Sachen an, die bisher den Rift getroffen haben. Lesen Sie mehr ohne es.
In der Augmented Reality ist das Problem anders, weil man Licht von realen und virtuellen Objekten mischen muss. Das Licht der realen Welt wird sich natürlich auf verschiedene Tiefen konzentrieren. Der virtuelle Inhalt wird jedoch alle auf einen festen, künstlichen Abstand fokussiert sein, der von der Optik vorgegeben wird - wahrscheinlich im Unendlichen. Virtuelle Objekte sehen nicht so aus, als wären sie wirklich Teil der Szene. Sie werden unscharf sein, wenn Sie reale Dinge in derselben Tiefe betrachten und umgekehrt. Es wird nicht möglich sein, Ihr Auge fließend über die Szene zu bewegen, während Sie es wie gewohnt fokussieren. Die widersprüchlichen Tiefenhinweise werden bestenfalls verwirrend sein und schlimmstenfalls widerlich sein.
Um dies zu beheben, benötigen Sie eine sogenannte Lichtfeldanzeige. Leuchtfeldanzeigen sind Anzeigen, die eine Anordnung von winzigen Linsen verwenden, um Licht anzuzeigen, das in vielen Tiefen gleichzeitig fokussiert ist. Dies ermöglicht dem Benutzer, sich natürlich auf die Anzeige zu konzentrieren und (für erweiterte Realität) das oben beschriebene Problem zu lösen.
Es gibt jedoch ein Problem: Lichtfeldanzeigen bilden im Wesentlichen einen einzelnen 2D-Bildschirm auf ein dreidimensionales Lichtfeld ab, was bedeutet, dass jedes "Tiefenpixel", das der Benutzer wahrnimmt (und in einer bestimmten Brenntiefe in der Szene existiert), ist besteht eigentlich aus Licht von vielen Pixeln auf dem ursprünglichen Display. Je feiner die Tiefe, die Sie darstellen möchten, desto mehr Auflösung müssen Sie aufgeben.
Im Allgemeinen haben Lichtfelder eine etwa achtfache Auflösung, um eine ausreichende Tiefengenauigkeit zu erhalten. Die besten verfügbaren Mikroanzeigen haben eine Auflösung von etwa 1080p. Unter der Annahme, dass ein High-End-Mikrodisplay jedes Auge antreibt, würde die tatsächliche Auflösung des Microsoft-Headsets nur etwa 500 x 500 Pixel pro Auge betragen, weniger als die Oculus Rift DK1. Wenn das Display ein hohes Sichtfeld hat, sind virtuelle Objekte unverständliche Blobs von Pixeln. Wenn nicht, wird das Eintauchen proportional leiden. Wir sehen nie wirklich durch die Linse (nur Computer-Re-Kreationen dessen, was der Benutzer sieht), also haben wir keine Ahnung, wie die Benutzererfahrung wirklich ist.
Es ist möglich, dass Microsoft eine neuartige Lösung für dieses Problem gefunden hat, um die Verwendung einer Leuchtfeldanzeige ohne Kompromisse bei der Auflösung zu ermöglichen. Microsoft ist jedoch sehr vorsichtig mit seiner Display-Technologie, was mich vermuten lässt, dass dies nicht der Fall ist. Hier ist die beste Erklärung, die wir bisher bekommen haben (von der WIRED- Demo).
Um die Bilder von Project HoloLens zu erzeugen, springen Lichtteilchen in der sogenannten Light Engine des Geräts millionenfach herum. Dann treten die Photonen in die beiden Linsen der Brille ein, wo sie zwischen den Schichten aus blauem, grünem und rotem Glas abprallen, bevor sie den hinteren Teil des Auges erreichen.
Diese Art der Beschreibung der Technologie könnte praktisch alles bedeuten (obwohl, in Fairness gegenüber Microsoft, die Hardware beeindruckt WIRED, obwohl der Artikel Licht in Details war).
Wir werden nicht mehr sicher wissen, bis Microsoft beginnt, technische Daten zu veröffentlichen, wahrscheinlich Monate später. Muss man das Projekt in einem solchen Marketing-Talk wirklich ertränken? Der dedizierte Prozessor, den sie für die Kopfverfolgung verwenden, wird als "holographischer Prozessor" bezeichnet, und die Bilder werden ohne besonderen Grund "Hologramme" genannt. Das Produkt ist grundsätzlich cool genug, dass es wirklich nicht nötig ist, es so zu vergolden.
Ist das Tracking gut genug?
Das Project HoloLens-Headset ist mit einer Kamera mit hoher FOV-Tiefe ausgestattet (wie die Kinect), die verwendet wird, um herauszufinden, wo sich das Headset im Weltraum befindet (indem es versucht, das Tiefenbild mit seinem Modell der Welt zusammenzusetzen) aus vergangenen Tiefenbildern). Hier ist ihre Live-Demo des Headsets in Aktion.
Das Tracking ist beeindruckend, wenn man bedenkt, dass es keine Marker oder andere Cheats verwendet, aber selbst in diesem Video (unter stark kontrollierten Bedingungen) können Sie ein gewisses Maß an Wobbeln sehen: Das Tracking ist nicht vollständig stabil. Das ist zu erwarten: Diese Art von Inside-Out-Tracking ist extrem schwierig.
Doch die große Lektion aus den verschiedenen Oculus Rift-Prototypen Sehen Sie sich die Oculus Rift Crescent Bay auf der CES 2015 an Sehen Sie sich die Oculus Rift Crescent Bay auf der CES 2015 an Die Oculus Rift Crescent Bay ist ein brandneuer Prototyp, der einige aufregende Verbesserungen zeigt Virtual-Reality-Technologie. Wir testen es auf der CES 2015. Lesen Sie mehr ist, dass die Genauigkeit des Trackings sehr wichtig ist. Jitteriges Tracking ist nur nervig, wenn es sich um ein paar Objekte in einer weitgehend stabilen realen Welt handelt, aber in Szenen wie der Mars-Demo zeigten sie in ihrem Konzeptvideo, wo fast alles, was man sieht, virtuelles, unpräzises Tracking zu einem Mangel an " Präsenz "in der virtuellen Szene oder sogar Simulator Krankheit. Kann Microsoft die Nachverfolgung auf den von Oculus festgelegten Standard (Genauigkeit des Submillimeter-Trackings und weniger als 20 ms Gesamtlatenz) bis zum Versanddatum Ende dieses Jahres erreichen?
Hier ist Michael Abrash, ein VR-Forscher, der sowohl für Valve als auch für Oculus gearbeitet hat und über das Problem gesprochen hat
[Da es immer eine Verzögerung beim Erzeugen virtueller Bilder gibt, [...] ist es sehr schwierig, virtuelle und reale Bilder so eng zu erfassen, dass das Auge es nicht merkt. Angenommen, Sie haben eine echte Cola-Dose, die Sie in eine AR-Pepsi-Dose verwandeln möchten, indem Sie ein Pepsi-Logo über das Coke-Logo ziehen. Wenn das Pepsi-Logo mehrere Millisekunden lang neu gezeichnet wird, wird jedes Mal, wenn Sie den Kopf drehen, der Eindruck entstehen, dass sich das Pepsi-Logo um ein paar Grad relativ zur Dose verschiebt und ein Teil des Coke-Logos sichtbar wird. Dann wird das Pepsi-Logo wieder an den richtigen Platz zurückschnappen, wenn Sie aufhören, sich zu bewegen. Dies ist eindeutig nicht gut genug für harte AR
Kann das Display schwarz zeichnen?
Ein anderes Problem neben der Fokustiefe und dem Tracking hat mit dem Zeichnen von dunklen Farben zu tun. Das Hinzufügen von mehr Licht zu einer Szene ist relativ einfach, unter Verwendung von Strahlteilern. Das Ausleuchten ist viel schwieriger. Wie verdunkelst du Teile der realen Welt selektiv? Wenn Sie ein selektiv transparentes LCD-Display aufstellen, wird es nicht abgeschnitten, da es nicht immer den richtigen Fokus hat, um zu blockieren, was Sie gerade sehen. Die optischen Tools, die dieses Problem lösen, wenn Microsoft sie nicht heimlich erfunden hat, existieren einfach nicht.
Das ist wichtig, denn für viele der Anwendungen, die Microsoft zeigt (wie Netflix an der Wand zu sehen), benötigt das Headset wirklich die Fähigkeit, das von der Wand kommende Licht zu entfernen, sonst wird Ihr Film immer ein sichtbares Stuckmuster überlagert haben Damit ist es unmöglich, dass reale Objekte in der Szene durch Bilder blockiert werden, was die Verwendung des Headsets stark von den Umgebungsbedingungen abhängig macht. Zurück zu Michael Abrash:
Bislang ist nichts in der AR-Industrie oder Literatur aufgetaucht, und solange und bis es soweit ist, kann hartes AR im SF-Sinne, das wir alle kennen und lieben, nicht passieren, außer in der Dunkelheit.
Das bedeutet nicht, dass AR vom Tisch ist, nur für eine Weile wird es Soft AR sein, basierend auf additivem Mischen [...] Denken Sie wieder durchscheinend wie "Ghostbusters". Hochintensive virtuelle Bilder ohne dunkle Bereiche werden arbeiten auch, vor allem mit Hilfe der regionalen oder globalen Verdunkelung - sie werden einfach nicht wie ein Teil der realen Welt aussehen.
Was ist mit Okklusion?
"Okklusion" ist der Begriff für das, was passiert, wenn ein Objekt vor einem anderen passiert und Sie daran hindert, zu sehen, was sich dahinter befindet. Damit sich virtuelle Landschaften wie ein greifbarer Teil der Welt anfühlen, ist es für reale Objekte wichtig, virtuelle Objekte zu verschließen: Wenn Sie Ihre Hand vor ein virtuelles Bild halten, sollten Sie es nicht durchschauen können deine Hand. Aufgrund der Verwendung einer Tiefenkamera am Headset ist dies tatsächlich möglich. Aber schau dir die Live-Demo noch einmal an:
Im Großen und Ganzen kontrollieren sie sorgfältig die Kamerawinkel, um zu vermeiden, dass reale Objekte vor virtuellen vorbeilaufen. Wenn der Demonstrator jedoch mit dem Windows-Menü interagiert, können Sie sehen, dass seine Hand sie überhaupt nicht verdeckt. Wenn das für ihre Technologie nicht möglich ist, ist das ein sehr schlechtes Zeichen für die Lebensfähigkeit ihres Konsumprodukts.
Apropos UI ...
Ist das wirklich die letzte UI?
Die von Microsoft in ihren Demo-Videos gezeigte Benutzeroberfläche scheint mit einer Kombination aus Blick- und Handverfolgung zu funktionieren, um einen Cursor in der virtuellen Szene zu steuern, während die Sprachsteuerung zur Auswahl zwischen verschiedenen Optionen verwendet wird. Dies hat zwei große Nachteile: Es sieht aus wie das kleine Kind im Shining, das mit seinem Finger spricht, aber was noch wichtiger ist, es repräsentiert auch ein grundlegend falsches Design-Paradigma.
In der Vergangenheit waren die besten Benutzeroberflächen diejenigen, die physische Intuitionen über die Welt in die virtuelle Welt bringen. Die Maus brachte Klicken, Ziehen und Fenster. Berühre die Touch-Oberfläche und wische zum Zoomen. Beides war entscheidend, um Computer für die Allgemeinheit zugänglicher und nützlicher zu machen - weil sie grundsätzlich intuitiver waren als vorher.
VR und AR geben Ihnen viel mehr Freiheit als Designer: Sie können UI-Elemente überall in einem 3D-Raum platzieren und die Benutzer können mit ihnen auf natürliche Weise interagieren, als wären sie physische Objekte. Eine große Anzahl von offensichtlichen Metaphern schlägt sich selbst vor. Berühren Sie ein virtuelles UI-Element, um es auszuwählen. Prise daran, hebe es auf und bewege es. Schieben Sie es aus dem Weg, um es vorübergehend zu speichern. Zerstöre es, um es zu löschen. Sie können sich vorstellen, eine Benutzeroberfläche zu erstellen, die so intuitiv ist, dass sie keine Erklärung benötigt. Etwas, das deine Großmutter sofort aufgreifen kann, weil es auf einer Basis grundlegender körperlicher Intuitionen basiert, die jeder über ein Leben lang mit der Welt verbindet. Nehmen Sie sich einen Moment Zeit und hören Sie dieser klugen Person zu, wie immersive Interfaces sein könnten.
Mit anderen Worten, es scheint für mich offensichtlich, dass eine immersive Benutzeroberfläche mindestens so intuitiv sein sollte wie die Touch-Schnittstellen, die das iPhone für 2D-Multitouch-Bildschirme entwickelt hat. Der Aufbau einer Schnittstelle zur Manipulation einer VR-Maus ist ein Schritt zurück und macht entweder tiefe technologische Unzulänglichkeiten in ihrer Handverfolgungstechnologie oder ein grundsätzliches Missverständnis dessen, was an diesem neuen Medium interessant ist, deutlich. Wie auch immer, es ist ein sehr schlechtes Zeichen dafür, dass dieses Produkt mehr als ein kolossaler Kinect-Scale-Flop ist.
Hoffentlich hat Microsoft Zeit, Feedback dazu zu bekommen und einen besseren Job zu machen. Als Beispiel, hier ist eine Schnittstelle von einem Hobby für die Oculus Rift DK2 und die Leap Motion entwickelt. Ein immersives UI, das von einem großen Unternehmen entworfen wurde, sollte mindestens so gut sein.
Ein Zeichen der Dinge, die kommen werden
Im Großen und Ganzen bin ich dem HoloLens-Projekt als Ganzes äußerst skeptisch gegenüber. Ich bin sehr froh, dass ein Unternehmen mit Microsofts Ressourcen dieses Problem untersucht, aber ich mache mir Sorgen, dass sie versuchen, ein Produkt zu stürzen, ohne einige kritische technische Probleme zu lösen oder ein gutes UI-Paradigma zu finden. Der HoloLens ist ein Zeichen für kommende Dinge, aber das bedeutet nicht, dass das Produkt selbst den Verbrauchern eine gute Erfahrung bieten wird.
Bildquelle: mit freundlicher Genehmigung von Microsoft