Destacado
8 de abril de 2026
UE5 se está convirtiendo en la plataforma predilecta para la simulación de robótica
El sector de la simulación está experimentando un cambio sustancial, ya que está pasando de crear herramientas para entrenar humanos a crear herramientas para entrenar máquinas.
Esto requiere sistemas de IA que operen, perciban e interactúen directamente con el mundo real. Y ahí llega la IA física.
Al combinar modelos de IA con sensores, cámaras y actuadores, estos sistemas, como los robots, los vehículos autónomos y los drones, entienden, razonan y actúan en tiempo real, adaptándose a entornos impredecibles.
Unreal Engine se está convirtiendo en la plataforma de referencia para los equipos de robótica, no solo como simulador, sino como fábrica de datos sintéticos y plataforma de autonomía en tiempo real para la siguiente generación de sistemas de robótica.
Entrenar a un robot para que funcione en el mundo real requiere grandes cantidades de datos: imágenes anotadas para la percepción, interacciones físicas para las políticas de control y casos extremos para la validación de la seguridad.
Recopilar estos datos en el mundo físico es un proceso lento, costoso, peligroso y con muchas limitaciones: no se puede recrear mil accidentes de coche, simular un huracán dentro de un almacén o reproducir una complicación quirúrgica a la carta.
Por eso, la simulación se ha convertido en la columna vertebral del desarrollo moderno de la IA física. Dado que la simulación no es negociable, la verdadera pregunta es: «¿Qué plataforma ofrece el mejor rendimiento de percepción al menor coste y con la mayor velocidad de iteración?».
Para los equipos de robótica, Unreal Engine se está consolidando como la respuesta. Esto se debe a que, en el ámbito de la simulación de robótica, el fotorrealismo es más que un requisito indispensable: es un requisito técnico.
Las potentes capacidades gráficas del motor lo convierten en la mejor opción para cerrar la brecha entre lo que percibe un modelo en la simulación y lo que percibe en un robot físico.
La lógica es sencilla: cuanto más se parezcan las imágenes sintéticas a fotografías reales, menos trabajo adicional necesitará el modelo para generalizar de la simulación a la realidad.
Unreal Engine 5 introdujo tres tecnologías que cambiaron radicalmente el paradigma en este ámbito, no solo al ofrecer fotorrealismo, sino también al ofrecerlo en tiempo real.
La geometría micropoligonal virtualizada de Nanite renderiza recursos de alta resolución en tiempo real, lo que es ideal para importaciones de CAD , escaneos de fotogrametría y entornos industriales densos.
La iluminación global dinámica de Lumen calcula prácticamente infinitos rebotes y reflejos indirectos de la luz en tiempo real, lo que permite una iluminación físicamente precisa que reacciona a los cambios en la iluminación directa (como el encendido de una luz) o la geometría (como la apertura de una puerta).
Además, el trazado de rayos por hardware, incluida la ramificación acelerada por RTX de NVIDIA , produce reflejos, sombras y respuestas de los materiales con gran precisión física.
General Robotics usa Unreal Engine para crear entornos virtuales realistas para realizar pruebas y demostraciones de los sistemas de autonomía robótica, aportando simulación escalable y validación visual a las plataformas de robótica.
«El fotorrealismo y el control del entorno de Unreal Engine permiten predecir el comportamiento del mundo real en distintos escenarios, y la autonomía de los agentes hace que sea escalable», afirma Sai Vemprala, cofundador y director de tecnología de General Robotics.
Esto requiere sistemas de IA que operen, perciban e interactúen directamente con el mundo real. Y ahí llega la IA física.
Al combinar modelos de IA con sensores, cámaras y actuadores, estos sistemas, como los robots, los vehículos autónomos y los drones, entienden, razonan y actúan en tiempo real, adaptándose a entornos impredecibles.
Unreal Engine se está convirtiendo en la plataforma de referencia para los equipos de robótica, no solo como simulador, sino como fábrica de datos sintéticos y plataforma de autonomía en tiempo real para la siguiente generación de sistemas de robótica.
El fotorrealismo como requisito técnico
Entrenar a un robot para que funcione en el mundo real requiere grandes cantidades de datos: imágenes anotadas para la percepción, interacciones físicas para las políticas de control y casos extremos para la validación de la seguridad.Recopilar estos datos en el mundo físico es un proceso lento, costoso, peligroso y con muchas limitaciones: no se puede recrear mil accidentes de coche, simular un huracán dentro de un almacén o reproducir una complicación quirúrgica a la carta.
Por eso, la simulación se ha convertido en la columna vertebral del desarrollo moderno de la IA física. Dado que la simulación no es negociable, la verdadera pregunta es: «¿Qué plataforma ofrece el mejor rendimiento de percepción al menor coste y con la mayor velocidad de iteración?».
Para los equipos de robótica, Unreal Engine se está consolidando como la respuesta. Esto se debe a que, en el ámbito de la simulación de robótica, el fotorrealismo es más que un requisito indispensable: es un requisito técnico.
Las potentes capacidades gráficas del motor lo convierten en la mejor opción para cerrar la brecha entre lo que percibe un modelo en la simulación y lo que percibe en un robot físico.
La lógica es sencilla: cuanto más se parezcan las imágenes sintéticas a fotografías reales, menos trabajo adicional necesitará el modelo para generalizar de la simulación a la realidad.
Unreal Engine 5 introdujo tres tecnologías que cambiaron radicalmente el paradigma en este ámbito, no solo al ofrecer fotorrealismo, sino también al ofrecerlo en tiempo real.
La geometría micropoligonal virtualizada de Nanite renderiza recursos de alta resolución en tiempo real, lo que es ideal para importaciones de CAD , escaneos de fotogrametría y entornos industriales densos.
La iluminación global dinámica de Lumen calcula prácticamente infinitos rebotes y reflejos indirectos de la luz en tiempo real, lo que permite una iluminación físicamente precisa que reacciona a los cambios en la iluminación directa (como el encendido de una luz) o la geometría (como la apertura de una puerta).
Además, el trazado de rayos por hardware, incluida la ramificación acelerada por RTX de NVIDIA , produce reflejos, sombras y respuestas de los materiales con gran precisión física.
General Robotics usa Unreal Engine para crear entornos virtuales realistas para realizar pruebas y demostraciones de los sistemas de autonomía robótica, aportando simulación escalable y validación visual a las plataformas de robótica.
«El fotorrealismo y el control del entorno de Unreal Engine permiten predecir el comportamiento del mundo real en distintos escenarios, y la autonomía de los agentes hace que sea escalable», afirma Sai Vemprala, cofundador y director de tecnología de General Robotics.
Courtesy of General Robotics
El motor es la base para la evaluación de robots a través de agentes: un agente organiza y ejecuta evaluaciones de los comportamientos de la IA de robots en distintos entornos y condiciones, para identificar casos extremos y evaluar el rendimiento antes de la implementación.
No solo eso, sino que, como Unreal Engine se ejecuta en macOS, los ingenieros de robótica pueden ejecutar sus simuladores de forma nativa en sus portátiles en lugar de iniciar sesión en Linux a través de SSH. Esto ofrece las ventajas de una latencia más baja, un mejor rendimiento gráfico y un proceso de trabajo simplificado .
En muchas tareas de manipulación y locomoción, las imprecisiones en la dinámica de contacto o el comportamiento del actuador provocan fallos mucho antes de que lo hagan las diferencias visuales.
En este contexto, el sistema de física del caos de Unreal Engine con doble precisión en su núcleo es útil para el entrenamiento escalable, la simulación de percepción y la interacción en tiempo real dentro de entornos fotorrealistas.
Los ingenieros también tienen la opción de modelar el comportamiento físico preciso de los sistemas mediante herramientas de terceros como AGX Dynamics para Unreal Engine, un sistema de simulación de física en tiempo real muy realista desarrollado por Algoryx.
No solo eso, sino que, como Unreal Engine se ejecuta en macOS, los ingenieros de robótica pueden ejecutar sus simuladores de forma nativa en sus portátiles en lugar de iniciar sesión en Linux a través de SSH. Esto ofrece las ventajas de una latencia más baja, un mejor rendimiento gráfico y un proceso de trabajo simplificado .
Simulación de física
El fotorrealismo por sí solo no cierra la brecha entre la simulación y la realidad. La fidelidad a la física (contacto preciso, fricción, deformables, dinámica de los actuadores), el realismo de los sensores (obturación, intensidad LiDAR, deriva de IMU, latencia) y un modelado adecuado del bucle de control son igualmente fundamentales.En muchas tareas de manipulación y locomoción, las imprecisiones en la dinámica de contacto o el comportamiento del actuador provocan fallos mucho antes de que lo hagan las diferencias visuales.
En este contexto, el sistema de física del caos de Unreal Engine con doble precisión en su núcleo es útil para el entrenamiento escalable, la simulación de percepción y la interacción en tiempo real dentro de entornos fotorrealistas.
Los ingenieros también tienen la opción de modelar el comportamiento físico preciso de los sistemas mediante herramientas de terceros como AGX Dynamics para Unreal Engine, un sistema de simulación de física en tiempo real muy realista desarrollado por Algoryx.
Courtesy of Algoryx Simulation
AGX permite una simulación físicamente precisa de máquinas completas, incluida la mecánica multicuerpo, los sistemas hidráulicos, las transmisiones, los motores, las orugas o ruedas y el terreno deformable dinámicamente.
«Las máquinas autónomas deben razonar sobre física», explica Kenneth Bodin, director ejecutivo y cofundador de Algoryx. «Si la simulación no refleja cómo interactúa la máquina con el mundo, la IA aprenderá comportamientos erróneos. Al combinar la simulación de física de nivel de ingeniería de AGX con los entornos fotorrealistas de Unreal Engine, podemos construir mundos digitales en los que las máquinas autónomas pueden entrenarse, probarse y validarse a escala».
Para los ingenieros, esta canalización es escalable y está automatizada. RealityScan exporta registros esenciales y datos de pose a la vez que es compatible con los formatos estándar de visión artificial (CV), como Colmap. Su alineación de imágenes de última generación proporciona la base para crear puntos gaussianos, recursos fotorrealistas de alta fidelidad que se pueden producir con un esfuerzo relativamente bajo.
RealityScan puede ejecutarse en servidores Linux y controlarse mediante el complemento de comandos remotos o secuencias de comandos CLI, con sistemas de fotogrametría automatizados que procesan escaneos continuamente en múltiples máquinas y envían directamente los resultados a Unreal Engine.
De este modo, en vez de depender del etiquetado manual posterior, el motor produce etiquetas muy precisas simultáneamente al renderizado.
«Las máquinas autónomas deben razonar sobre física», explica Kenneth Bodin, director ejecutivo y cofundador de Algoryx. «Si la simulación no refleja cómo interactúa la máquina con el mundo, la IA aprenderá comportamientos erróneos. Al combinar la simulación de física de nivel de ingeniería de AGX con los entornos fotorrealistas de Unreal Engine, podemos construir mundos digitales en los que las máquinas autónomas pueden entrenarse, probarse y validarse a escala».
Fusionar y reconstruir distintas fuentes de datos con RealityScan
Al combinar la fotogrametría de vanguardia y la tecnología en tiempo real, los equipos de robótica pueden crear un proceso eficaz para crear entornos virtuales realistas. Un ejemplo de ello es el proceso de trabajo consolidado entre RealityScan y Unreal Engine, que convierte rápidamente sitios y objetos del mundo real en gemelos digitales para la simulación de robótica. RealityScan ahora es compatible con las nubes de puntos SLAM, así como con la fotogrametría tradicional y LiDAR, lo que elimina el cuello de botella en la creación de entornos y permite la generación rápida de entornos sintéticos de entrenamiento y regresión que reproducen con fidelidad los entornos de implementación. Esto es fundamental para reducir la brecha entre la simulación y la realidad, sobre todo para la percepción de la cámara.Para los ingenieros, esta canalización es escalable y está automatizada. RealityScan exporta registros esenciales y datos de pose a la vez que es compatible con los formatos estándar de visión artificial (CV), como Colmap. Su alineación de imágenes de última generación proporciona la base para crear puntos gaussianos, recursos fotorrealistas de alta fidelidad que se pueden producir con un esfuerzo relativamente bajo.
RealityScan puede ejecutarse en servidores Linux y controlarse mediante el complemento de comandos remotos o secuencias de comandos CLI, con sistemas de fotogrametría automatizados que procesan escaneos continuamente en múltiples máquinas y envían directamente los resultados a Unreal Engine.
Datos sintéticos para un entrenamiento rápido y rentable
Como Unreal Engine genera matemáticamente cada píxel, ya tiene toda la información de la escena: dónde está cada objeto, a qué distancia está, qué material contiene y cómo se mueve.De este modo, en vez de depender del etiquetado manual posterior, el motor produce etiquetas muy precisas simultáneamente al renderizado.
Eso tiene una serie de ventajas: no hay desacuerdos entre los anotadores; ausencia de etiquetas incoherentes en un conjunto de datos (por ejemplo, una carretilla elevadora etiquetada como camión); y sin necesidad de un costoso proceso de control de calidad .
Además, el impacto económico es irrefutable: las simulaciones de entrenamiento con datos sintéticos reducen significativamente el coste por imagen cuando se realizan a escala.
Para la mayoría de procesos de percepción, el punto de solapamiento económico en el que los datos sintéticos se vuelven más rentables que la anotación manual llega mucho antes de lo que esperan los equipos, a menudo después de decenas de miles de imágenes.
Como la mayoría de los modelos de robótica necesitan millones de imágenes, optar por usar datos sintéticos puede suponer un gran ahorro de costes.
Este caso se basa en las señales del mercado que estamos observando: se prevé que los datos sintéticos se conviertan en un componente dominante de los procesos de entrenamiento de la IA .
Además, el impacto económico es irrefutable: las simulaciones de entrenamiento con datos sintéticos reducen significativamente el coste por imagen cuando se realizan a escala.
Para la mayoría de procesos de percepción, el punto de solapamiento económico en el que los datos sintéticos se vuelven más rentables que la anotación manual llega mucho antes de lo que esperan los equipos, a menudo después de decenas de miles de imágenes.
Como la mayoría de los modelos de robótica necesitan millones de imágenes, optar por usar datos sintéticos puede suponer un gran ahorro de costes.
Este caso se basa en las señales del mercado que estamos observando: se prevé que los datos sintéticos se conviertan en un componente dominante de los procesos de entrenamiento de la IA .
Courtesy of Duality AI
Duality AI aprovecha estas capacidades de Unreal Engine para su plataforma de gemelos digitales Falcon, generando datos sintéticos muy realistas y simulaciones de sensores para clientes empresariales, que las aprovechan en una gran variedad de sectores y casos de uso.
Invertir en estos gemelos digitales se traduce en un retorno de la inversión cuantificable en términos de entrenamiento e implementación rápidos de modelos de IA para volar drones de forma segura, navegar de forma fiable por la naturaleza e incluso acoplar satélites en órbita. En cada una de estas situaciones, los entornos de gemelos digitales y los sensores virtuales de Falcon proporcionan datos sintéticos de alta precisión que han demostrado ser capaces de cerrar la brecha entre la realidad y la simulación.
«Eso no sería posible sin las funciones avanzadas de renderización, los solucionadores de física, la gestión escalable de situaciones y la consolidada comunidad de desarrolladores de doble uso de Unreal Engine», afirma Apurva Shah, director ejecutivo de Duality AI.
La aleatorización de dominios es una técnica que consiste en variar intencionadamente distintos aspectos de un entorno simulado para que los modelos entrenados en simulación generalicen mejor el mundo real.
Si el modelo experimenta suficientes variaciones en la simulación, no se ajustará en exceso a un entorno sintético limitado y funcionará mejor en las condiciones cambiantes del mundo real.
Esta necesidad de modelado ambiental muy realista es una prioridad para Forterra. Su sistema de vehículos autónomos, AutoDrive, navega por entornos complejos dentro y fuera de la carretera, tanto estructurados como no estructurados, que carecen de los marcadores predecibles de una calle pavimentada urbana. Desde centros de distribución y puertos hasta centros intermodales y polígonos industriales de recursos naturales, los sistemas de Forterra deben manejar terrenos variados, superficies cambiantes y obstáculos impredecibles en tiempo real.
Al aprovechar simulaciones muy realistas y datos sintéticos, Forterra puede exponer su pila de autonomía a una variedad casi infinita de obstáculos climáticos, de iluminación y del terreno.
«En Forterra, cuando se trata de desarrollar una autonomía que funcione de forma fiable en entornos complejos, las simulaciones realistas no son negociables», explica el Dr. Jeremy Joseph, director de simulación y validación de sistemas de Forterra.
«Usamos Unreal Engine para probar nuestro vehículo, ya que nos permite hacerlo en entornos digitales precisos con simulación de sensores con gran precisión física y perfiles de misión completos que se ejecutan en una cantidad infinita de variaciones de clima, terreno y obstáculos. Es algo esencial porque la seguridad del usuario final es un valor fundamental para Forterra, y estas capacidades nos permiten identificar y resolver problemas antes de llegar al vehículo real».
Invertir en estos gemelos digitales se traduce en un retorno de la inversión cuantificable en términos de entrenamiento e implementación rápidos de modelos de IA para volar drones de forma segura, navegar de forma fiable por la naturaleza e incluso acoplar satélites en órbita. En cada una de estas situaciones, los entornos de gemelos digitales y los sensores virtuales de Falcon proporcionan datos sintéticos de alta precisión que han demostrado ser capaces de cerrar la brecha entre la realidad y la simulación.
«Eso no sería posible sin las funciones avanzadas de renderización, los solucionadores de física, la gestión escalable de situaciones y la consolidada comunidad de desarrolladores de doble uso de Unreal Engine», afirma Apurva Shah, director ejecutivo de Duality AI.
Aleatorización de dominios: preparación para lo inesperado
La aleatorización de dominios es una técnica que consiste en variar intencionadamente distintos aspectos de un entorno simulado para que los modelos entrenados en simulación generalicen mejor el mundo real.Si el modelo experimenta suficientes variaciones en la simulación, no se ajustará en exceso a un entorno sintético limitado y funcionará mejor en las condiciones cambiantes del mundo real.
Esta necesidad de modelado ambiental muy realista es una prioridad para Forterra. Su sistema de vehículos autónomos, AutoDrive, navega por entornos complejos dentro y fuera de la carretera, tanto estructurados como no estructurados, que carecen de los marcadores predecibles de una calle pavimentada urbana. Desde centros de distribución y puertos hasta centros intermodales y polígonos industriales de recursos naturales, los sistemas de Forterra deben manejar terrenos variados, superficies cambiantes y obstáculos impredecibles en tiempo real.
Al aprovechar simulaciones muy realistas y datos sintéticos, Forterra puede exponer su pila de autonomía a una variedad casi infinita de obstáculos climáticos, de iluminación y del terreno.
«En Forterra, cuando se trata de desarrollar una autonomía que funcione de forma fiable en entornos complejos, las simulaciones realistas no son negociables», explica el Dr. Jeremy Joseph, director de simulación y validación de sistemas de Forterra.
«Usamos Unreal Engine para probar nuestro vehículo, ya que nos permite hacerlo en entornos digitales precisos con simulación de sensores con gran precisión física y perfiles de misión completos que se ejecutan en una cantidad infinita de variaciones de clima, terreno y obstáculos. Es algo esencial porque la seguridad del usuario final es un valor fundamental para Forterra, y estas capacidades nos permiten identificar y resolver problemas antes de llegar al vehículo real».
Courtesy of Forterra
Unreal Engine resulta especialmente idóneo para la aleatorización de dominios debido a su sistema de materiales programables y su iluminación dinámica: es posible aleatorizar texturas y materiales; condiciones de iluminación; las condiciones meteorológicas y la atmósfera; la geometría y la colocación de objetos; y la posición de la cámara y los parámetros del objetivo .
Los equipos de robótica también pueden usar el marco de generación procedimental de contenido (PCG) del motor para variar los entornos interiores en los episodios de entrenamiento. En una escena de un almacén o una oficina, se pueden aleatorizar las disposiciones (por ejemplo, la colocación de las estanterías o las mesas), el desorden (como cajas o herramientas) y los elementos visuales, como los materiales, la iluminación y las obstrucciones.
Y para aquellos que quieran construir entornos de simulación o poblarlos de objetos, el marketplace de Fab es una fuente fantástica de contenido en 3D de alta calidad, asequible y fácil de integrar, que incluye Quixel Megascans de alta precisión producidos mediante fotogrametría.
El proceso de renderización de Unreal Engine es especialmente idóneo para simular los sensores que usan los robots en el mundo real, incluidas las cámaras RGB/HDR, las cámaras de profundidad, los complementos LiDAR Point Clouds, las cargas de radar y SAR, las imágenes térmicas/FLIR, los modelos de IMU y GPS y las sondas submarinas (a través de HoloOcean). Además, permite modelar propiedades clave de los sensores, como ruido, distorsión, latencia y sincronización, para reproducir con mayor fidelidad el hardware real.
La plataforma de gemelos digitales Falcon de Duality AI es un ejemplo. Su biblioteca configurable de sensores listos para la simulación incluye cámaras, LiDAR, radar y SAR, GPS, IMU y mucho más. Unreal Engine procesa los datos para crear simulaciones del entorno de alta precisión.
«Básicamente, desarrollamos Falcon con Unreal Engine porque sabíamos todo lo que podía ofrecer a los especialistas en robótica y a los ingenieros de física de IA », afirma Apurva Shah, director ejecutivo de Duality AI.
Los equipos de robótica también pueden usar el marco de generación procedimental de contenido (PCG) del motor para variar los entornos interiores en los episodios de entrenamiento. En una escena de un almacén o una oficina, se pueden aleatorizar las disposiciones (por ejemplo, la colocación de las estanterías o las mesas), el desorden (como cajas o herramientas) y los elementos visuales, como los materiales, la iluminación y las obstrucciones.
Y para aquellos que quieran construir entornos de simulación o poblarlos de objetos, el marketplace de Fab es una fuente fantástica de contenido en 3D de alta calidad, asequible y fácil de integrar, que incluye Quixel Megascans de alta precisión producidos mediante fotogrametría.
Simulación de sensores: creación de una imagen global del mundo
La robótica moderna depende de la percepción multimodal, que permite entender un entorno a través de múltiples tipos de sensores a la vez en lugar de depender de una sola entrada.El proceso de renderización de Unreal Engine es especialmente idóneo para simular los sensores que usan los robots en el mundo real, incluidas las cámaras RGB/HDR, las cámaras de profundidad, los complementos LiDAR Point Clouds, las cargas de radar y SAR, las imágenes térmicas/FLIR, los modelos de IMU y GPS y las sondas submarinas (a través de HoloOcean). Además, permite modelar propiedades clave de los sensores, como ruido, distorsión, latencia y sincronización, para reproducir con mayor fidelidad el hardware real.
La plataforma de gemelos digitales Falcon de Duality AI es un ejemplo. Su biblioteca configurable de sensores listos para la simulación incluye cámaras, LiDAR, radar y SAR, GPS, IMU y mucho más. Unreal Engine procesa los datos para crear simulaciones del entorno de alta precisión.
«Básicamente, desarrollamos Falcon con Unreal Engine porque sabíamos todo lo que podía ofrecer a los especialistas en robótica y a los ingenieros de física de IA », afirma Apurva Shah, director ejecutivo de Duality AI.
Courtesy of Duality AI
AURELION, de dSPACE, muestra además cómo encaja Unreal Engine en procesos de trabajo de robótica y vehículos autónomos ya establecidos. Por ejemplo, Korean Testing Laboratory (KTL) usa AURELION para probar robots de servicio autónomos en el entorno de un hospital virtual, incluidos pasillos, ascensores y habitaciones de pacientes. Los sensores virtuales permiten a los desarrolladores evaluar la navegación, la evasión de obstáculos y la respuesta del sistema antes de su implementación en el mundo real.
«Unreal Engine es el pilar tecnológico de AURELION, nuestra solución de simulación de sensores basada en la física», explica Caius Seiger, responsable de producto y simulación de sensores de dSPACE.
«Unreal Engine es el pilar tecnológico de AURELION, nuestra solución de simulación de sensores basada en la física», explica Caius Seiger, responsable de producto y simulación de sensores de dSPACE.
Courtesy of dSPACE GmbH
El motor permite una simulación de cámara realista a nivel de sensor, incluyendo un modelado preciso de la lente y del sensor de imagen. «El acceso al código fuente nos ha permitido ampliar aún más la plataforma implementando el trazado de rayos en tiempo real para generar datos de sensor precisos y sin procesar para sensores de radar, LiDAR y ultrasónicos», afirma Seiger.
La integración eficiente de modelos y materiales en 3D de Unreal Engine es compatible con una amplia gama de aplicaciones, desde drones de reparto urbano hasta robots de servicios hospitalarios.
Asimismo, MATLAB y Simulink de MathWorks se integran con Unreal Engine a través de Simulink 3D Animation. «Los ingenieros pueden usar Unreal Engine para la renderización fotorrealista y la simulación de sensores, mientras que las herramientas de MathWorks integran la percepción, la planificación, los controles y el modelado basado en la física en un entorno de simulación unificado», afirma Nishan Nekoo, responsable de producto de Simulink 3D Animation.
Este proceso de trabajo permite a los equipos adelantar el desarrollo y la validación de la autonomía en el ciclo de diseño, lo que les ayuda a descubrir problemas antes, con más seguridad y confianza.
Algunas empresas de robótica construyen su propio middleware para satisfacer las demandas de los sistemas de producción. Tempo Simulation se creó teniendo en cuenta esa realidad. Su plataforma de código abierto proporciona una interfaz flexible de gRPC/Protobuf que permite a los equipos de robótica conectar Unreal Engine directamente a sus propias pilas de autonomía y middleware. Además de su integración con TempoROS, Tempo también proporciona herramientas para construir entornos de simulación realistas, modelos de sensores y comportamientos complejos de agentes dentro de Unreal Engine.
La integración eficiente de modelos y materiales en 3D de Unreal Engine es compatible con una amplia gama de aplicaciones, desde drones de reparto urbano hasta robots de servicios hospitalarios.
Asimismo, MATLAB y Simulink de MathWorks se integran con Unreal Engine a través de Simulink 3D Animation. «Los ingenieros pueden usar Unreal Engine para la renderización fotorrealista y la simulación de sensores, mientras que las herramientas de MathWorks integran la percepción, la planificación, los controles y el modelado basado en la física en un entorno de simulación unificado», afirma Nishan Nekoo, responsable de producto de Simulink 3D Animation.
Este proceso de trabajo permite a los equipos adelantar el desarrollo y la validación de la autonomía en el ciclo de diseño, lo que les ayuda a descubrir problemas antes, con más seguridad y confianza.
Integración con ROS: puente entre el motor de juego y el robot
La compatibilidad con el middleware de robótica se considera a veces una preocupación para los equipos que evalúan el uso de motores de juego. Ahora mismo, Unreal Engine se integra perfectamente con ROS y ROS2 a través de múltiples puentes consolidados, como ROSIntegration, rclUE, los complementos del sensor UE ROS2 y CARLA.Algunas empresas de robótica construyen su propio middleware para satisfacer las demandas de los sistemas de producción. Tempo Simulation se creó teniendo en cuenta esa realidad. Su plataforma de código abierto proporciona una interfaz flexible de gRPC/Protobuf que permite a los equipos de robótica conectar Unreal Engine directamente a sus propias pilas de autonomía y middleware. Además de su integración con TempoROS, Tempo también proporciona herramientas para construir entornos de simulación realistas, modelos de sensores y comportamientos complejos de agentes dentro de Unreal Engine.
Courtesy of Aurum Systems and Tempo Simulation
«En Tempo, hemos visto de primera mano lo potente que puede ser el volante de simulación. Cuando los equipos pueden generar datos, probar comportamientos e iterar rápidamente en simulación, los ciclos de desarrollo se reducen drásticamente. Nuestro objetivo es hacer que cualquier equipo de robótica pueda acceder a las simulaciones tan realistas de Unreal Engine», afirma Peter Melick, cofundador y director ejecutivo de Tempo Simulation.
Es un excelente ejemplo de cómo Unreal Engine puede funcionar a la perfección como simulador en tiempo real para los sistemas de software que permiten que los robots funcionen de forma independiente.
Cuando se trata de aprendizaje por refuerzo (RL), en el que un agente aprende interactuando con un entorno y recibiendo recompensas o penalizaciones por sus acciones, el realismo y la capacidad de respuesta del entorno de simulación determinan directamente la eficacia con la que esos comportamientos aprendidos se transfieren al mundo real.
Marcos como Gym-UnrealCV y AirSim (y sus versiones posteriores) combinan Unreal Engine con flujos de trabajo de RL para tareas como navegación de drones, seguimiento de objetos y control de robots.
El sistema de física del caos de Unreal Engine gestiona la dinámica de los cuerpos rígidos, las uniones articuladas, las colisiones y la dinámica de los vehículos. Las arquitecturas híbridas que combinan la renderización del motor con MuJoCo o Bullet para el modelado de contacto se están convirtiendo en las prácticas recomendadas para las dinámicas de robótica.
Y en cuanto a la escalabilidad, los contenedores de Linux, la compatibilidad con Docker y la renderización sin interfaz acelerada por GPU permiten generar datos sintéticos a escala de nube y crear procesos de pruebas de autonomía.
CARLA es el simulador de vehículos autónomos de código abierto más utilizado. Ahora se ejecuta en UE 5.5 e integra LiDAR, radar, múltiples tipos de cámara, GPS, segmentación semántica y conectividad ROS2 nativa.
Basado en UE5, HoloOcean proporciona simulación submarina multiagente con DVL, IMU, módems ópticos/acústicos y un novedoso modelo de sensor de sonda basado en octree, una capacidad poco común entre los simuladores submarinos. Lumen y Nanite de UE5 mejoran considerablemente el realismo visual bajo el agua del simulador.
Y la plataforma de simulación de gemelos digitales Falcon de Duality AI, basada directamente en Unreal Engine, ha acumulado múltiples reconocimientos del sector, entre los que se encuentran: World Changing Ideas de Fast Company, así como Mejor producto de IA y datos en los Product Awards y la categoría Motores de datos y simulación en los Robotics and Physical AI Awards. Entre los usuarios de Falcon se encuentran NASA-JPL, Honeywell, DARPA y Procter & Gamble.
PteroSim de PteroLabs es un simulador de vuelo UAV basado en UE5 con aerodinámica JSBSim 6-DOF, compatible con aeronaves de ala fija, multirotor, VTOL y helicópteros con más de 100 drones simultáneos. Ejecuta firmware de piloto automático real en bucle (PX4, ArduPilot) a través del mismo protocolo MAVLink y el software de estación terrestre que se usa en los drones físicos, lo que permite una validación impecable de la simulación a la realidad.
La plataforma incluye modelado de perturbaciones atmosféricas (turbulencia de Dryden, ráfagas y microrráfagas), así como una API de Python gRPC para escenarios de prueba automatizados, y se ejecuta mucho más rápido que en tiempo real para el entrenamiento de ML y los flujos de trabajo de RL. Los equipos de DARPA Lift Challenge utilizan PteroSim para la validación previa al vuelo de aeronaves autónomas.
«Elegimos Unreal Engine porque ofrece una calidad visual inigualable y, al estar programado en C++, nos permite simular la dinámica de vuelo real sin renunciar a nada», afirma Alexander Kalmykov, fundador de PteroLabs. «El motor se adapta a cualquier configuración de hardware y, cada vez que nos atascábamos, la comunidad de UE ya tenía una respuesta».
Es un excelente ejemplo de cómo Unreal Engine puede funcionar a la perfección como simulador en tiempo real para los sistemas de software que permiten que los robots funcionen de forma independiente.
Compatibilidad con el bucle de simulación completo
Aunque el principal punto fuerte de la robótica de Unreal Engine es la percepción y los datos sintéticos, también es compatible con el bucle de simulación completo .Cuando se trata de aprendizaje por refuerzo (RL), en el que un agente aprende interactuando con un entorno y recibiendo recompensas o penalizaciones por sus acciones, el realismo y la capacidad de respuesta del entorno de simulación determinan directamente la eficacia con la que esos comportamientos aprendidos se transfieren al mundo real.
Marcos como Gym-UnrealCV y AirSim (y sus versiones posteriores) combinan Unreal Engine con flujos de trabajo de RL para tareas como navegación de drones, seguimiento de objetos y control de robots.
El sistema de física del caos de Unreal Engine gestiona la dinámica de los cuerpos rígidos, las uniones articuladas, las colisiones y la dinámica de los vehículos. Las arquitecturas híbridas que combinan la renderización del motor con MuJoCo o Bullet para el modelado de contacto se están convirtiendo en las prácticas recomendadas para las dinámicas de robótica.
Y en cuanto a la escalabilidad, los contenedores de Linux, la compatibilidad con Docker y la renderización sin interfaz acelerada por GPU permiten generar datos sintéticos a escala de nube y crear procesos de pruebas de autonomía.
Impulsando las principales plataformas de simulación de robótica
Unreal Engine no es solo una herramienta de renderización . Es la base de las principales plataformas de simulación de robótica.CARLA es el simulador de vehículos autónomos de código abierto más utilizado. Ahora se ejecuta en UE 5.5 e integra LiDAR, radar, múltiples tipos de cámara, GPS, segmentación semántica y conectividad ROS2 nativa.
Basado en UE5, HoloOcean proporciona simulación submarina multiagente con DVL, IMU, módems ópticos/acústicos y un novedoso modelo de sensor de sonda basado en octree, una capacidad poco común entre los simuladores submarinos. Lumen y Nanite de UE5 mejoran considerablemente el realismo visual bajo el agua del simulador.
Y la plataforma de simulación de gemelos digitales Falcon de Duality AI, basada directamente en Unreal Engine, ha acumulado múltiples reconocimientos del sector, entre los que se encuentran: World Changing Ideas de Fast Company, así como Mejor producto de IA y datos en los Product Awards y la categoría Motores de datos y simulación en los Robotics and Physical AI Awards. Entre los usuarios de Falcon se encuentran NASA-JPL, Honeywell, DARPA y Procter & Gamble.
PteroSim de PteroLabs es un simulador de vuelo UAV basado en UE5 con aerodinámica JSBSim 6-DOF, compatible con aeronaves de ala fija, multirotor, VTOL y helicópteros con más de 100 drones simultáneos. Ejecuta firmware de piloto automático real en bucle (PX4, ArduPilot) a través del mismo protocolo MAVLink y el software de estación terrestre que se usa en los drones físicos, lo que permite una validación impecable de la simulación a la realidad.
La plataforma incluye modelado de perturbaciones atmosféricas (turbulencia de Dryden, ráfagas y microrráfagas), así como una API de Python gRPC para escenarios de prueba automatizados, y se ejecuta mucho más rápido que en tiempo real para el entrenamiento de ML y los flujos de trabajo de RL. Los equipos de DARPA Lift Challenge utilizan PteroSim para la validación previa al vuelo de aeronaves autónomas.
«Elegimos Unreal Engine porque ofrece una calidad visual inigualable y, al estar programado en C++, nos permite simular la dinámica de vuelo real sin renunciar a nada», afirma Alexander Kalmykov, fundador de PteroLabs. «El motor se adapta a cualquier configuración de hardware y, cada vez que nos atascábamos, la comunidad de UE ya tenía una respuesta».
Courtesy of SAS Institute
Industria 4.0
La Industria 4.0, una fusión de robótica, automatización y tecnologías digitales, se basa en la simulación en tiempo real y los gemelos digitales para probar virtualmente los cambios de producción. Esto reduce el riesgo y el coste al validar las decisiones de automatización antes de implementarlas.SAS es líder en la Industria 4.0 y combina la visualización realista de Unreal Engine con SAS AI/analytics Viya para crear gemelos digitales inteligentes para la automatización de las fábricas. Un proyecto piloto con Georgia-Pacific usa un gemelo digital SAS con la tecnología de Unreal Engine para visualizar y optimizar el movimiento, el control de calidad y la planificación del mantenimiento de AGV en una fábrica real.
Las instalaciones modernas son entornos cada vez más complejos en los que deben coexistir personas y robots, por lo que la seguridad y la eficiencia son aspectos fundamentales.
Glynn Newby, director de marketing de fabricación de SAS, afirma: «Nuestra estrategia combina la simulación fotorrealista con la IA y los análisis avanzados para ayudar a los líderes a crear gemelos digitales más completos y evaluar las decisiones antes de comprometerse con grandes inversiones. Los datos sintéticos se trasladan sin problemas entre Unreal Engine y SAS. Creemos que este enfoque tiene el potencial de mejorar significativamente la productividad, la seguridad y la eficiencia operativa en las instalaciones de todo el mundo».
La evolución de una plataforma de robótica
Unreal Engine no se diseñó como plataforma de robótica. Aun así, el auge de los datos sintéticos, los avances en la transferencia de la simulación a la realidad y la demanda de simulación fotorrealista de sensores lo han llevado por ese camino.Dado que se trata de un motor en tiempo real creado para la interactividad, UE5 es compatible con la simulación con intervención humana, la formación de operadores, las interfaces de teleoperación, las experiencias de RE y los gemelos digitales, todo dentro del mismo tiempo de ejecución utilizado para el desarrollo de IA .
Los equipos pueden crear prototipos de autonomía de las máquinas, crear herramientas de visualización interactivas y experimentar con procesos de trabajo de interacción humano-máquina sin tener que cambiar de plataforma.
Para los equipos de robótica cuyos modelos necesitan ver el mundo real con precisión, ya sea detectando objetos en una fábrica, navegando por una intersección urbana o identificando la anatomía durante una cirugía, Unreal Engine se ha convertido en la plataforma más atractiva para entrenar en simulación y desplegar en la realidad.