Nivel técnico del artículo

Metaverso, hologramas, interacción remota, mundos virtuales… parece que últimamente las tecnologías de Realidad Extendida son la solución a todos nuestros problemas, pero ¿qué hay de realidad en todo este creciente interés?

Lo que sí sabemos es que la Realidad Extendida ha llegado para quedarse. En los últimos años, la Realidad Aumentada, Virtual o Mixta ha pasado de los laboratorios de investigación a nuestros propios hogares en tiempo récord. Existen ya dispositivos comerciales al alcance del consumidor que permiten sumergirse en estos entornos virtuales, y el interés es creciente desde numerosos sectores: finanzas, educación, salud, industria, turismo, construcción… Por otro lado, grandes compañías están invirtiendo cada vez más esfuerzos en tecnologías cada vez más avanzadas que permitan dotar de mejores capacidades a estos mundos digitales y a los usuarios que vayan a navegarlos. El valor de mercado únicamente para la Realidad Aumentada y Virtual, sin incluir la Realidad Mixta, se predice que para 2025 rondará los 80 mil millones de dólares, siendo la Salud el área de mayor impacto dentro del sector público y la empresa, seguido por el sector de la Industria y la Ingeniería.

Sin embargo, a pesar del creciente interés por aplicar estas tecnologías en diversos sectores, y de la extensa lista de ventajas y oportunidades que pueden ofrecer, su uso de forma cotidiana todavía no está tan extendido en la sociedad. Y es que en general los usuarios todavía encuentran dificultades a la hora de interactuar o de utilizar estas tecnologías. Para ello, se está trabajando en buscar la mejor forma de permitir que el usuario pueda interactuar con estos dispositivos, para lograr experiencias realistas y a la vez cómodas e intuitivas.

En ITI hemos trabajado en el área de la Interacción Persona Ordenador en proyectos como HCIHEALTH, donde se ha mostrado cómo es posible emplear tecnologías de realidad aumentada para crear experiencias orientadas a mejorar la salud mental, y cómo llevar la terapia a casa gracias a las mismas. Sin embargo, hay otro tipo de experiencias inmersivas que pueden lograr todavía un mayor impacto en este proceso: es el caso de la Realidad Mixta.

Realidad Mixta: a caballo entre dos mundos

Quizá de las distintas tecnologías de Realidad Extendida, las más conocidas son la Realidad Aumentada y la Realidad Virtual. Pero existe un tercer jugador que está tomando cada vez más relevancia, dado que se trata de una mezcla entre las dos anteriores. La Realidad Mixta nos permite visualizar el mundo real, así como contenido aumentado en el mismo, e interactuar tanto con objetos físicos y digitales dentro de este entorno.

Al utilizar Realidad Aumentada mediante un dispositivo móvil o smartphone podemos hacer llegar esta tecnología fácilmente al usuario final y utilizarla en el hogar, en la oficina, en la calle… No obstante, en esta experiencia, el usuario tiene que estar sujetando el dispositivo con una mano moviendo el brazo alrededor para apuntar y observar determinadas zonas de su alrededor. Sus interacciones pueden verse más limitadas, ya que tendría únicamente una mano libre para, por ejemplo, interactuar con el contenido aumentado tocando sobre la pantalla del móvil.

En el caso de la Realidad Mixta, es posible utilizar dispositivos tipo gafas (Head Mounted Displays o HMD) como las Microsoft Hololens, Magic Leap o Spectacles. Al utilizar HMD, las manos del usuario quedan libres para poder interactuar de forma natural con su entorno y desplazarse con normalidad. Además, estos dispositivos pueden contar con otro tipo de sensores que permiten reconocer el entorno, las manos del usuario, el seguimiento de la mirada o la voz, sin necesidad de llevar puesto ningún dispositivo adicional, todo ello integrado en la propia gafa. Esto permite crear experiencias novedosas y realistas, donde con el simple gesto de las manos podemos tocar o coger un objeto digital que el sistema ha superpuesto en nuestro mundo real, o bien tocar un elemento físico para conocer más información sobre él que se mostrará a través de las gafas.

Multimodalidad para mejorar la interacción del usuario

Este tipo de sistemas pueden ser muy útiles en diferentes sectores. Por ejemplo, en el ámbito industrial, el trabajo de los operarios en planta puede requerir de interacción física con sus manos en determinados momentos. Por tanto, un sistema de Realidad Mixta en estos entornos que solo provea interacción gestual podría ser contraproducente, y sería conveniente incorporar otras modalidades como la voz o la interacción táctil. Esto es lo que se conoce como interacción multimodal: la posibilidad de incluir distintas formas de interactuar en el mismo sistema, que pueden ser complementarias o incluso simultáneas.

Por otro lado, la multimodalidad cobra especial relevancia en ámbitos como la salud y el bienestar, donde los usuarios y pacientes pueden presentar diversos tipos de patologías que dificulten la adopción de una única modalidad de interacción en este tipo de sistemas. Por ejemplo, en el campo de la salud mental, dentro de un mismo diagnóstico o patología cada paciente puede tener unos requisitos o necesidades diferentes: una persona con Trastorno del Espectro Autista puede tener dificultades en la comunicación verbal, mientras que otra puede encontrar más problemas con la motricidad. Disponer de sistemas multimodales capaces de adaptarse a este rango de necesidades en función del paciente ofrece más flexibilidad y permite abordar un mayor rango de problemáticas. Otro de los aspectos que pueden favorecer enormemente el impacto de intervenciones en salud mental es ofrecer contenido visual que responda ante los movimientos o parámetros fisiológicos del paciente. Mediante la captura e incorporación de biofeedback dentro de estos escenarios, el contenido digital deja de ser meramente informativo y pasa a ser reactivo, produciendo cambios en el mundo aumentado o virtual que complementen el tratamiento en base a lo que el paciente va experimentando.

LYNX: Sistemas de Interacción Multimodal para Entornos de Realidad Extendida

En el proyecto LYNX estamos investigando en el desarrollo de entornos de Realidad Extendida (Realidad Aumentada y Realidad Mixta), así como incorporando diversos mecanismos de interacción dentro de estos entornos que permitan distintos modos de comunicación entre el sistema y el usuario. Con ello se persigue desarrollar experiencias más inmersivas para el usuario, gracias a la incorporación de distintos mecanismos de interacción, como gestos y biofeedback, que a su vez ayudarán a mejorar la experiencia de usuario y facilitar la integración de estos sistemas para su uso de forma habitual.

Para ello, estamos aplicando los resultados de esta investigación en el diseño y desarrollo de un escenario de Realidad Mixta, junto a expertos en el ámbito de la salud mental y el bienestar. El objetivo de la aplicación es que el usuario pueda utilizar un dispositivo móvil o unas gafas de Realidad Mixta para visualizar objetos digitales sobre el mundo real, e interactuar con estos objetos a través de gestos. A su vez, estos objetos digitales van a reaccionar al estado fisiológico del usuario, que se captura en tiempo real a través de sensores que deberá llevar el usuario, como por ejemplo un sensor de pulso, de respiración, de sudoración… así es posible hacer que, por ejemplo, si la persona tiene el pulso más acelerado, los objetos digitales de la escena sean más grandes, mientras que si la persona se calma y sus pulsaciones bajan en consecuencia, estos objetos poco a poco reducirían su tamaño. Esto permite tener una representación más tangible del estado físico y mental del paciente, y puede ayudarle a enfrentarse a sus miedos y trabajarlos.

A través de esta investigación, esperamos mostrar las ventajas y oportunidades que pueden ofrecer las tecnologías de Realidad Mixta, especialmente en el sector Salud. Quedan todavía muchísimos avances por llegar con respecto a estas plataformas, que nos permitirán desdibujar cada vez más la línea que separa lo digital de lo real. Pero siempre sin perder de vista lo primordial: que la aplicación de estas tecnologías nos permita mejorar el bienestar y calidad de vida de las personas.

 

 

 

Autor
Patricia Pons
Patricia Pons | Técnica 3 I+D+I en ITI (ASTID)