El Proyecto se basa en la integración y control de forma teleoperada de un robot Baxter con sensores inerciales que captan el movimiento del operador para replicar los movimientos del usuario de forma inalámbrica, implementando una base móvil robot, para su autonomía en el entorno.  El usuario operaría al robot mediante unos Oculus Quest y este mandaría los datos de los sensores inerciales, actualizandolos a tiempo real, a un FireBase, donde el robot leería la posición final y la replicaría. De la misma forma la cámara del robot transmitiría, a un entorno creado en Unity, en tiempo real lo que está viendo el robot a los lentes VR de los Oculus Quest.

Los sensores inerciales miden la aceleración lineal y la velocidad angular con diferentes dispositivos de orientación, magnética y aceleración según su movimiento. Particularmente los controles de los Oculus ya vienen con los sensores integrados y su función será la captura de movimiento del operario; en primera instancia, dichos datos se procesarán en un software para recrear de forma digital los movimientos y probarlo, una vez testeados se enviarán como acción al robot, esto para evitar retrasos o ruido que pueda haber si se pasa el movimiento directo de los sensores inerciales. Estos sensores tienen que tener una buena resolución en la precisión de los movimientos en el entorno para que la acción que se vaya a transferir al robot sea lo más exacta posible.

Dentro del proyecto se planea implementar una base móvil para que el robot pueda deslizarse dentro de un entorno determinado, dicho movimiento será controlado por los grips del Oculus Quest que cumplirán la función de movimiento y la acción de abierto-cerrado de los grippers del robot.Finalmente, para la visión en tiempo real del operario a través del robot se realizará una conexión de la cámara frontal del robot báxter con los lentes de realidad virtual Oculus Quest.

El robot baxter es un robot de manufactura que pesa alrededor de 75 kg y cuenta con dos brazos colaborativos, con unas dimensiones de 94x37x260 cm en total y un payload de 5 lb.

Todo el proyecto fue desarrollado bajo la supervisión del profesor Carlos Vázquez, PhD en el laboratorio Smart Factory MTY y con la ayuda de mi compañero y buen amigo Pedro Carrasco, juntos logramos realizar el proyecto y presentarlo en «Americas Mobility of the Future» en Monterrey, obteniendo reconocimiento en un diario local y la presentación al Gobernador Samuel García.