HoloLens 2 ofrece nuevas herramientas de colaboración inmersiva a los clientes del metaverso industrial

Incluso con instrucciones escritas precisas, algunas partes del proceso de ensamblaje automotriz aún requieren un poco de arte, dice David Kleiner, quien dirige el Laboratorio de Investigación de Tecnología Aplicada de Toyota Motor North America.

Por ejemplo, martillar el protector del borde de una puerta. Esa es la delgada tira de acero que protege contra abolladuras y golpes cuando abres la puerta contra una pared o un automóvil estacionado. Use demasiada fuerza y ​​un trabajador puede dañar el vehículo. Si es demasiado poco, el protector del borde se soltará la próxima vez que se cierre la puerta de golpe.

Recientemente, un trabajador de un centro logístico de Toyota en Nueva Jersey luchaba por encontrar ese equilibrio. Entonces se pusieron un HoloLens 2, el casco de realidad mixta de Microsoft, abrieron una ventana holográfica y llamaron a un colega en California para pedir ayuda. Instantáneamente estaban mirando a través de los ojos de alguien en el lado opuesto del país.

Aquí está el truco, dijo su compañero de trabajo: escuchen este sonido. Y golpearon la pieza en el ángulo correcto, produciendo un tono distintivo y una imagen clara que el colega podía ver y oír como si estuvieran uno al lado del otro.

Ese sonido de éxito ahora está ayudando a otros trabajadores de Toyota a instalar protectores en los bordes de las puertas. El clip se grabó en una HoloLens 2 y se capturó en las instrucciones holográficas paso a paso en las Guías de Microsoft Dynamics 365, brindando a todos los trabajadores el beneficio de esa sabiduría.

Para Kleiner, esa historia muestra cómo HoloLens 2 es una herramienta perfectamente en sintonía con kaizen, un principio central de mejora continua de Toyota. Y explica por qué el dispositivo ha salido rápidamente de los laboratorios de innovación de Toyota y ha llegado a su lugar de trabajo cotidiano. Los trabajadores de seis centros logísticos de Toyota en EE. UU. utilizan HoloLens 2 para capacitación, orientación y colaboración con manos libres. Los auriculares se lanzarán pronto en sitios de Canadá y México, dijo Kleiner, y se planea una mayor expansión.

"La métrica asesina para Toyota es la velocidad", dijo Kleiner. “Cuanto más rápido podamos capacitar a las personas y resolver problemas, más rápido podremos llevar un producto al mercado. Por eso queremos superar la ubicación, queremos superar el tiempo y queremos que la gente se mueva más rápido y comparta conocimientos. HoloLens nos ha permitido hacer todo eso”.

Durante el año pasado, Microsoft realizó importantes inversiones en la plataforma HoloLens 2 en respuesta a la adopción acelerada por parte de clientes empresariales como Toyota, desde nuevas actualizaciones que permiten una colaboración inmersiva hasta soluciones que permiten a las empresas escalar y administrar una flota de dispositivos. Están beneficiando a los trabajadores que usan auriculares en todas las industrias, ya sea en hospitales, salas limpias de semiconductores, plantas de energía, laboratorios de anatomía o sitios de construcción, dijo la compañía.

La última ola de actualizaciones de Microsoft combina sus aplicaciones clave de realidad mixta Dynamics 365 y agrega Microsoft Teams y OneDrive a las integraciones existentes con Azure y Power Platform. Como resultado, Microsoft está entregando al trabajador de primera línea las herramientas de productividad y colaboración impulsadas por la nube que los trabajadores de escritorio han tenido durante mucho tiempo al alcance de la mano. No importa dónde se encuentren, los usuarios de HoloLens 2 pueden crear una variedad de ventanas holográficas con una llamada o chat de Teams, un panel de Power BI, un documento de Word, un PDF o video, su carpeta OneDrive o su calendario y operar de manera inmersiva. Experiencia 3D.

"Realmente estamos entregando Windows en realidad mixta", dijo Alysa Taylor, vicepresidenta corporativa de Microsoft para Azure e Industria.

Esas capacidades ayudan a explicar por qué empresas como Toyota han ido más allá de simplemente patear neumáticos en el metaverso.

Para muchos, esa palabra les recuerda a los avatares que nos representan en los mundos en línea. Es una imagen parcialmente exacta, dijo Taylor. Microsoft ve varias categorías de metaverso diferentes. Existe el conocido metaverso del consumidor, donde compramos y jugamos con amigos y familiares. Y están los metaversos comerciales e industriales en los que colaboramos con colegas y realizamos el trabajo.

El metaverso industrial que Toyota y otros están explorando es una forma fundamentalmente nueva para que los humanos y la IA trabajen juntos para diseñar, construir, operar y optimizar sus sistemas físicos, dijo Taylor. Con Microsoft Azure, Dynamics 365 y ofertas de realidad mixta que unen lo digital y lo físico, los clientes pueden crear gemelos digitales de una fábrica o almacén y simular procesos de fabricación o cadena de suministro en la nube. Eso les permite refinar esos procesos en el metaverso industrial, ya sea para aumentar la eficiencia operativa o reducir su huella ambiental, antes de comprometerlos con una forma física.

Realmente estamos entregando Windows en realidad mixta.

La realidad mixta es una tecnología clave de las soluciones de metaverso industrial de Microsoft, dijo Taylor. HoloLens 2 ofrece esas soluciones a los trabajadores de primera línea que trabajan con las manos y no pueden estar atados a una computadora o un teclado. Desde su lanzamiento, Microsoft ha incorporado los comentarios de los clientes e invertido en hacer que los dispositivos realmente funcionen en primera línea, desde baterías de mayor duración hasta diseños que se ajustan a las gafas de seguridad y actualizaciones que facilitan que el departamento de TI de un cliente administre una flota de dispositivos. departamento.

"Los trabajadores de primera línea constituyen la columna vertebral de muchas de las industrias más grandes del mundo, pero en gran medida no han recibido los servicios tecnológicos necesarios", afirmó Taylor. “Hay tanto conocimiento e información en la nube, pero ¿cómo accede ese trabajador sin escritorio en el campo o en la fábrica a ese mundo digital?”

La respuesta de Microsoft es HoloLens 2 y su conjunto de aplicaciones Dynamics Mixed Reality. Dado que los servicios en la nube de Azure hacen gran parte del trabajo pesado, pueden tomar información digital e integrarla en el mundo físico del usuario. Esa experiencia holográfica les ayuda a aprender más rápido sobre los procesos industriales o a apoyar a colegas de todo el mundo con asesoramiento experto como si estuvieran en la misma habitación, sin el gasto ni el impacto medioambiental de los viajes de larga distancia.

“Estos empleados no tienen escritorios; darles una computadora portátil simplemente no funcionará”, dijo Kleiner de Toyota. “Queremos que HoloLens sean nuestras pantallas para nuestros trabajadores de primera línea. Cuando usan HoloLens, ahora tienen una pantalla que les brinda todas las herramientas digitales que necesitan”.

Desde el lanzamiento de HoloLens 2 en 2019, Microsoft ha implementado 34 actualizaciones de software mensuales. Algunos prestaron apoyo a nuevas regiones. Muchos agregaron nuevas funciones, como un modo daltónico para mejorar la accesibilidad o ajustes en los algoritmos de seguimiento de la cabeza para que los clientes puedan usar HoloLens 2 en entornos inestables, como en un barco.

Cada uno de ellos ha sido impulsado por los comentarios de los clientes, dijo Scott Evans, vicepresidente de Realidad Mixta de Microsoft.

"La tecnología manos libres permite grandes avances en la forma de trabajar de las personas", afirmó Evans. “Pero a menudo eso significa pasar por un ciclo de hacer una prueba piloto, medir y aprender, y luego ampliar la implementación. Involucramos a los clientes a lo largo de ese viaje y es un gran proceso de aprendizaje para nosotros”.

La última actualización responde a una de las principales peticiones de los clientes: reunir las dos aplicaciones clave de Dynamics 365 Mixed Reality de Microsoft. El primero es Dynamics 365 Guides, que lleva a los usuarios a través de instrucciones holográficas paso a paso. El segundo ha sido el escenario más popular para los usuarios de HoloLens 2: Dynamics 365 Remote Assist.

Las llamadas a través del país sobre guardias en los bordes de las puertas mostraron el poder de Remote Assist, que permite a un trabajador de primera línea llevar virtualmente a sus colaboradores a su espacio físico. En este escenario de “ver lo que yo veo”, esos colegas pueden estar en cualquier parte del mundo, en cualquier dispositivo. Simplemente reciben una llamada de Teams y desde allí ahora pueden realizar anotaciones en el espacio 3D y aumentar lo que ese trabajador de primera línea está viendo. Combinar las aplicaciones fue una solicitud prioritaria de Toyota, que ha estado brindando comentarios a Microsoft desde el lanzamiento de las HoloLens originales en 2016. Las guías Dynamics 365 actualizadas ofrecen una experiencia mucho mejor, dijo Kleiner.

Queremos que HoloLens sean nuestras pantallas para nuestros trabajadores de primera línea.

"Alguien puede tomar una HoloLens, iniciar una sesión de Guías y, literalmente, tener un entrenador en su cabeza", dijo. "Si necesitan ayuda, pueden llamar a un experto directamente desde la aplicación".

Los comentarios de Toyota también ayudaron a mejorar otros aspectos de la experiencia de los Guías. Por ejemplo, los técnicos solían colocar un código QR en el capó de un vehículo, escanearlo y luego seguir las instrucciones holográficas.

Pero esos hologramas podrían parecer a la deriva cuando un trabajador se mueve alrededor del automóvil. Toyota trabajó con Microsoft para desarrollar la "comprensión de objetos". Eso significó que los técnicos de Toyota pudieron escanear todo el vehículo, lo que ayudó a fijar un holograma en su lugar y eliminar el problema de paralaje. Un holograma que apunta hacia un rayo siempre señalaría la ubicación exacta, sin importar el ángulo del espectador.

A lo largo de los años, la experiencia de creación en Guides ha mejorado hasta el punto de que crear instrucciones holográficas es tan fácil como crear un PowerPoint, añadió Kleiner.

“No tengo que contratar un ejército de consultores para construir esto. No necesito tener un grupo de personas con títulos en informática. Puedo dárselo a los expertos en primera línea y ellos pueden generar su propio contenido para capacitar a otras personas o compartirlo”, dijo.

Toyota encontró un valor inmediato en las guías como herramienta de capacitación, dijo Kleiner. En lugar de trabajar individualmente con los alumnos, los formadores de Toyota pueden permitir que los alumnos trabajen de forma independiente y supervisar a varios alumnos al mismo tiempo, lo que aumenta muchas veces su eficiencia.

Durante un proyecto piloto en su planta de San Antonio, Toyota utilizó HoloLens 2 y Guides para capacitar a los empleados sobre cómo ensamblar una nueva versión de la Toyota Tundra. Los datos mostraron que fue un éxito, dijo Kleiner. Los defectos se redujeron a la mitad. Dependiendo del individuo, el tiempo de entrenamiento se redujo entre un 20% y un 50%, dijo.

Si bien los dispositivos HoloLens 2 han ayudado a definir lo que es posible en el metaverso industrial, Microsoft es una empresa de plataformas, dijo Taylor. Es por eso que Microsoft se compromete a hacer que su software de realidad mixta esté disponible dondequiera que estén sus clientes, ya sea en un HoloLens 2 o en el dispositivo de otra empresa. Y si bien las aplicaciones de realidad mixta de Dynamics 365 brindan software de nivel empresarial para que los clientes puedan ponerse a trabajar de inmediato, Microsoft también ha creado una red de socios de realidad mixta de ISV que pueden ampliar las soluciones para satisfacer necesidades únicas en diferentes industrias, desde la construcción y la educación hasta la atención médica y farmacéutico.

La Administración de Salud y Seguridad Ocupacional (OSHA) del Departamento de Trabajo de EE. UU. recurrió a uno de estos socios para mejorar la seguridad de los trabajadores durante la excavación de zanjas. En las obras de construcción, la excavación de zanjas y zanjas son trabajos arriesgados pero esenciales. Según OSHA, un metro cúbico de tierra puede pesar tanto como un automóvil, y ese delicado equilibrio con la gravedad puede alterarse en un instante. Por eso los derrumbes de zanjas son la principal causa de muerte en la industria de la construcción.

Para ayudar a mitigar este peligro, los instructores de OSHA están utilizando una aplicación de realidad mixta personalizada para brindar a los inspectores de seguridad de zanjas una capacitación práctica e inmersiva sobre peligros sin riesgos del mundo real. La aplicación, creada por el estudio de software Clirio, consta de seis escenas diferentes que utilizan gráficos realistas e inmersivos para mostrar variables como condiciones del terreno, peligros, equipos de seguridad y mejores prácticas para mitigar riesgos. El sofisticado diseño de sonido y la animación contribuyen a una experiencia realista.

“Siempre que le enseñas algo a alguien, una cosa es decírselo, una cosa es mostrárselo y otra cosa es dejarle hacerlo”, dijo Anthony Towey, Director del Instituto de Capacitación de OSHA. "De hecho, podemos entrar en un entorno de zanjas y excavación que es lo más cercano que podrán encontrar en el campo".

Miles de contratistas de la construcción podrían beneficiarse de esta formación, añadió. "Y ahora podrán hacerlo en un entorno seguro, donde podrán practicar y cometer errores".

Hokkaido Electric Power Company utiliza HoloLens 2, Dynamics 365 Remote Assist y una aplicación personalizada para ayudar al personal a inspeccionar equipos críticos en una planta de energía térmica. En cada patrulla de inspección, los trabajadores recorren un vasto laberinto de calderas, turbinas y generadores y examinan miles de equipos en busca de cambios a menudo sutiles que puedan ayudarles a evitar problemas mayores, dijo Takaharu Umemoto, que trabaja en la Sección de Tecnología de la Información, Energía Térmica de la empresa. Departamento. Esto requiere amplios conocimientos y experiencia, afirmó. A menudo, a los nuevos empleados les tomaba un año seguir a técnicos experimentados antes de que pudieran manejar todo.

Hoy en día, los nuevos empleados se ponen al día mucho más rápido, dijo, y la aplicación ha mejorado la eficiencia de las inspecciones de patrulla. La experiencia ha convertido a la empresa en un entusiasta partidario de la tecnología de realidad mixta, dijo Umemoto.

"Tenía una imagen de (la realidad mixta) como tecnología para juegos, pero fue una revelación descubrir que puede usarse como una solución intuitiva y fácil de entender desde la perspectiva de transferir habilidades de inspección de patrulla", dijo Umemoto. .

A medida que las primeras pruebas piloto de clientes con HoloLens 2 dieron lugar a implementaciones más grandes, Microsoft ha invertido mucho en hacer que la tecnología conectada a la nube sea más fácil de administrar a escala. Eso significa que los departamentos de TI pueden administrar un auricular HoloLens 2 como cualquier otra computadora portátil, teléfono o tableta, dijo Evans.

Esas mejoras ayudaron a Toyota a trasladar HoloLens 2 del laboratorio a la empresa sin problemas, dijo Kleiner. "Por lo general, cuando salimos del laboratorio, hay una enorme curva de aprendizaje: ¿cómo los mantenemos y operamos a nivel empresarial?" Dijo Kleiner. “Todo eso se evitó porque cuando llevamos el dispositivo al departamento de TI dijeron: 'Oh, esta es solo otra máquina con Windows. Sabemos cómo manejarlo'”.

Microsoft seguirá trabajando con los clientes para resolver desafíos únicos y difíciles, señaló Evans.

Clientes como el Ejército de EE. UU. están ayudando a mejorar tanto el software como el hardware, mientras que otros están ayudando a impulsar mejoras específicas de la industria que eventualmente pueden tener una aplicación más amplia, dijo Evans. Es similar a cómo tecnologías como los frenos cerámicos y la sincronización variable de válvulas aparecieron por primera vez en la Fórmula 1, pero finalmente pasaron de la pista de carreras a las calles cotidianas.

“El programa militar tiene su propio conjunto de requisitos que se adaptan a las necesidades del soldado. Por lo tanto, está ayudando a impulsar toda la plataforma hacia adelante. Es fantástico contar con los primeros usuarios que impulsan los requisitos porque al final se produce este efecto de goteo”, afirmó Evans.

Una cosa que Evans ha dicho que Microsoft escucha de los clientes es que, a diferencia de los consumidores que esperan una cosecha constante de nuevos dispositivos, las empresas no quieren tener que reemplazar sus dispositivos cada dos años. Eso provoca demasiada rotación. “Nadie quiere quedarse obsoleto por tener capacidades un 10% mejores. No necesitan un sucesor todavía, pero quieren saber que estará allí en el momento adecuado”, afirmó.

Evans dijo que Microsoft está avanzando en todas las tecnologías centrales de hardware: visualización, seguimiento, sensores y duración de la batería. “Simplemente estamos buscando el punto de diseño correcto para que sea una actualización significativa. Quieren un dispositivo sucesor que permita un retorno de la inversión aún mayor”, afirmó Evans.

A medida que el hardware y el software de HoloLens continúan evolucionando, Kleiner de Toyota espera que Guides siga siendo "la mejor aplicación de realidad mixta" para los trabajadores de primera línea. Algún día podría ser como Word, disponible en cualquier dispositivo. Pero por ahora, Toyota seguirá implementando auriculares HoloLens 2 en toda la empresa, brindando a los trabajadores de primera línea las herramientas para trabajar y colaborar de nuevas maneras.

"Ahora tenemos un dispositivo que podemos implementar para cada persona", dijo Kleiner. “Es fácil de mantener y permite a nuestros trabajadores participar en una conversación más amplia, independientemente del rango o la estructura del equipo. Ahora todos tienen voz”.

Imagen superior: Los colaboradores de escritorio pueden realizar anotaciones en el espacio 3D y aumentar lo que ve un trabajador de primera línea que usa un HoloLens 2 con la última actualización de Dynamics 365 Guides. (Imagen cortesía de Microsoft)

Jake Siegel escribe sobre la investigación y la innovación de Microsoft.