Employing binocular eye tracking for the control of a custom-made immersive multimedia user interface (MUI) in Unity3D

Abstract

In this thesis, we present an innovative approach to design a gaze controlled Multimedia User Interface for modern, immersive headsets. The wide-spread availability of consumer grade Virtual Reality Head Mounted Displays such as the Oculus RiftTM transformed VR to a commodity available for everyday use. However, Virtual Environments require new paradigms of User Interfaces, since standard 2D interfaces are designed to be viewed from a static vantage point only, e.g. the computer screen. Additionally, traditional input methods such as the keyboard and mouse are hard to manipulate when the user wears a Head Mounted Display. We present a 3D Multimedia User Interface based on eye-tracking and develop six applications which cover commonly operated actions of everyday computing such as mail composing and multimedia viewing. We perform a user study to evaluate our system by acquiring both quantitative and qualitative data. The study indicated that users make less type errors while operating the eye-controlled interface compared to using the standard keyboard during immersive viewing. Subjects stated that they enjoyed the eye-tracking 3D interface more than the keyboard/mouse combination.

Αντικείμενο της διπλωματικής εργασίας είναι μια πρωτοποριακή προσέγγιση για την σχεδίαση μιας διεπαφής χρήστη με υποστήριξη ακολουθίας ματιών για μοντέρνες και στερεοσκοπικές πλατφόρμες. Η ευρεία ανάπτυξη και διαθεσιμότητα των φορητών συσκευών απεικόνισης Εικονικής Πραγματικότητας στους καταναλωτές όπως το Oculus RiftTM οδήγησε στην ένταξη της Εικονικής Πραγματικότητας ολοένα και περισσότερο στην καθημερινότητα μας. Ωστόσο, η εμβύθιση ενός χρήστη σε ένα περιβάλλον Εικονικής Πραγματικότητας(VR) απαιτεί νέες τεχνικές και κανόνες αλληλεπίδρασης μεταξύ χρήστη και των πρωτοεμφανιζόμενων διεπαφών τριών διαστάσεων(3D). Οι ήδη υπάρχουσες δυο διαστάσεων(2D) διεπαφές χρηστών είναι σχεδιασμένες έτσι ώστε να επιτρέπεται η χρήση τους μέσω μιας οθόνης τοποθετημένης σε στατική θέση, όπως η οθόνη του Η/Υ, και όχι να τις βιώσουν οπτικά οι χρήστες στις τρεις διαστάσεις του πλάτους, ύψους και βάθους. Επομένως, η αλληλεπίδραση του χρήστη με τον ψηφιακό κόσμο χρησιμοποιώντας τα παραδοσιακά περιφερειακά συστημάτων όπως του πληκτρολογίου και του ποντικιού καθίσταται αν όχι σχεδόν αδύνατη αρκετά παράξενη και δύσκολη. Παρουσιάζουμε λοιπόν, μια τρισδιάστατη διεπαφή πολυμέσων βασιζόμενη στην ακολουθία ματιών για την αλληλεπίδραση και αναπτύξαμε έξι εφαρμογές που καλύπτουν καθημερινές ανάγκες; από τη σύνταξη και αποστολή ηλεκτρονικής αλληλογραφίας και διαχείριση πολυμέσων εικόνας, ήχου και αρχείων μέχρι και gaming. Η αξιολόγηση του συστήματός μας έγινε μέσω πειραμάτων με πραγματικούς χρήστες και μέσω της ανάλυσης των δεδομένων, ποσοτικών και ποιοτικών, αποφάνθηκε πως οι χρήστες ενθουσιάστηκαν και διευκολύνθηκαν πολύ περισσότερο διαχειρίζοντας την διεπαφή “οπτικά” σε αντίθεση με τη χρήση πληκτρολογίου καθώς επίσης παρατηρήθηκαν λιγότερα τυπογραφικά λάθη.