אחד האתגרים הבולטים בתחומי המציאות המדומה והרבודה הוא יצירת אינטרקציה טבעית עם העולמות הווירטואליים. חברות טכנולוגיה רבות מחפשות דרכים ליצירת אינטרקציה נוחה ואינטואיטיבית יותר שיהפכו את המציאות המדומה לקצת יותר מציאותית. הפתרון הבולט ביותר כיום הוא שימוש במעקב ידיים ועיניים. המעקב אחר תנועות ידיים ותנועות עיניים מתאפשר בעזרת שימוש בחיישנים, באלגוריתמים מתקדמים ואפילו בבינה מלאכותית לצורך הבנת התנועות שאותן המשתמש עושה.
השימוש בידיים ובעיניים טבעי לבני אדם. כשאנחנו קוראים כתבה או לומדים, אנחנו 'סורקים' את הספרים והחומר הכתוב עם העיניים. אותו הדבר קורה גם בטיולים, כאשר קונים מוצר חדש בחנות ואפילו כשמדברים עם אנשים ויוצרים קשר עין. מכאן שאפשר לעשות הרבה עם מעקב אחר תנועות עיניים גם במציאות המדומה.
באשר למעקב אחר ידיים, אין ספק שזה פתרון הרבה יותר טוב משימוש בג'ויסטיק בלבד. לעשות תנועה המדמה פתיחת דלת, הרמת קופסה וכן הלאה יהיו הרבה יותר אינטואיטיביות, נוחות ומציאותיות מאשר לחיצה על כפתור בג'ויסטיק.
למעקב ידיים ולמעקב עיניים אפשר למצוא שימושים רבים בעולמות המציאות המדומה והמציאות הרבודה. הנה חמישה שימושים בולטים:
ניצול משאבי עיבוד יעיל יותר
מעקב עיניים תאפשר למשתמש להפעיל פונקציה שנקראת "Foveated Rendering". עם השימוש בטכנולוגיה הזו, משקפי המציאות המדומה יציגו באיכות גבוהה רק את האלמנטים שהמשתמש ממוקד עליהם והשאר יוצגו באיכות נמוכה יותר.
כך, במקום שמשקפי המציאות המדומה ישתמשו במשאבי עיבוד רבים כדי להציג את כל התוכן שמסביב למשתמש באיכות גבוהה, רק התוכן שרלוונטי באמת יוצג באיכות גבוהה. שימוש חכם יותר במשאבי העיבוד משמעותו גם חיסכון אנרגטי שכן העומס על המעבד וכרטיס המסך יופחת.
במקרה של עולמות וירטואליים שרצים בענן או משתמשים ברשת, השימוש ב-Foveated Rendering יוכל להפחית משמעותית את רוחב הפס הדרוש לחוויית שימוש חלקה. עם Foveated Rendering רק האלמנטים החשובים באמת יוצגו באיכות גבוהה ושאר האלמנטים באיכות נמוכה שדורשת פחות רוחב פס. המשמעות היא שהמציאות המדומה תוכל להיות נגישה יותר גם עבור אנשים ואזורים בעלי רוחב פס מוגבל.
איסוף מידע וסטטיסטיקות
מעקב אחר תנועות ידיים ועיניים יכול לשמש לאיסוף של מידע יקר ערך למפרסמים, למורים ומדריכים ולחוקרי התנהגות. חברות פרסום וחוקרי התנהגות יכולים להבין בעזרת הסטטיסטיקות האלו מה מושך את העין ואת תשומת הלב של האנשים. כך ניתן יהיה ליצור קמפיינים שיווקיים ממוקדים יותר ויעילים יותר. אגב, מדובר ביתרון שקיים אך ורק במציאות המדומה שכן לא ניתן לעקוב אחרי תנועות ידיים ועיניים בצורה טובה דרך מחשבים או סמארטפונים.
בנוסף, מעקב אחר ידיים מאפשר להבין בצורה טובה יותר כיצד אנשים יגיבו בסיטואציות שונות. הכשרות במציאות מדומה יכולות לדמות סיטואציות רבות ומגוונות, משימוש בכלי חפירה ועד לביצוע ניתוח מורכב. עם מעקב אחר תנועות ידיים ותנועות עיניים, המורים והמדריכים יוכלו להבין בצורה טובה יותר כיצד התלמיד/סטודנט מגיב לסיטואציות שונות.
ממשק משתמש יותר נוח
היתרון הבולט והמלהיב ביותר של מעקב אחר ידיים ועיינים הינו השיפור שצפוי לממשקי המשתמש בעולמות המציאות המדומה והמציאות הרבודה. להשתמש בג'ויסטקים יכול להיות קל להרבה אנשים ובעיקר לדור הצעיר, אבל זה ללא ספק גורע מהמציאותיות של החוויה.
עם מעקב אחר תנועות ידיים ותנועות עיניים, כל חווית השימוש תהפוך למציאותית יותר וקלה יותר. כפי שרשמנו בתחילת הכתבה, תנועה של הרמת קופסה או פתיחת דלת מציאותית יותר מאשר לחיצה על כפתור בג'ויסטיק. לא מעט אנשים סבורים שהמעבר משימוש בג'ויסטיק לעקיבת עיניים וידיים יהפכו את המציאות המדומה להרבה יותר מציאותית ופופולרית.
שליטה מרחוק על מכשירים ורובוטים
עולם שבו בני אדם ורובוטים חיים ועובדים זה לצד זה אולי עדיין נראה כמו מדע בדיוני, אבל העולם הזה הופך בצעדי ענק לחלק מהמציאות הנוכחית שלנו. כבר עכשיו, אנחנו מקיימים אינטראקציה עם מגוון של בוטים וכלים אוטומטיים באמצעות מחוות וקול. טכנולוגיית מעקב עיניים וידיים תיקח את התקשורת הזו לשלב הבא.
בקרת מחוות המנוהלת על ידי טכנולוגיות תנועה עשויה לאפשר למהנדסים ופועלי בניין עתידיים להפעיל מכונות מרחוק בצורה אינטואיטיבית ונוחה.
מעקב עיניים ומעקב ידיים יכולים גם לאפשר יצירת כלי רכב אוטונומיים – צורה נוספת של רובוט עתידני. במכונית או מטוס אוטונומיים, מערכת חיישנים יכולה לזהות מתי הנהג אינו שם לב לסכנות פוטנציאליות ולהגיב בהתאם.
עולם וירטואלי יותר בטוח
טכנולוגיית מעקב ידיים ועיניים עשויה גם למלא תפקיד חשוב בהתפתחות המטאוורס. בעזרת מעקב עיניים וידיים, ניתן יהיה ליצור אווטרים מציאותיים יותר, המסוגלים להעביר הבעות פנים ואת תנועות הגוף של האנשים.
כלי מעקב עיניים וידיים יכולים גם לעזור להפוך את הסביבות הדיגיטליות הללו לבטוחות יותר, עם שימוש בבינה מלאכותית ואמצעים ביומטריים. כלים ביומטריים המובנים במכשירי מציאות מדומה יוכלו לסרוק את תכונות פניו של המשתמש לצורך אימות הזהות שלו.
ככל שאנשים נעשים מודאגים יותר מהגנה על זהותם ועל הפרטים האישיים שלהם במטאוורס, הטכנולוגיה הביומטרית הזו תהפוך לחשובה יותר.
