Rerun

Rerun es una capa de datos de código abierto diseñada específicamente para el ámbito de la IA física y la robótica. Esta herramienta funciona como un ecosistema completo que permite registrar, transformar, consultar y visualizar datos multimodales y de frecuencia variable. Su objetivo principal es facilitar la creación de bucles de datos eficientes, desde la fase inicial de grabación hasta el entrenamiento de modelos a gran escala, proporcionando un SDK de código abierto altamente flexible y extensible.

La arquitectura de Rerun destaca por su alto rendimiento y versatilidad, ofreciendo APIs nativas para Python, Rust y C++. Utiliza un enfoque basado en primitivas de datos que permite a los desarrolladores integrar la herramienta en sus flujos de trabajo actuales sin necesidad de migrar a plataformas cerradas. Gracias a su compatibilidad con WebAssembly (Wasm), el visualizador interactivo puede ejecutarse tanto en el ordenador de escritorio como directamente en el navegador, lo que facilita el acceso rápido a las representaciones visuales de los sensores y estados del sistema en tiempo real.

Entre sus capacidades funcionales, destaca la posibilidad de realizar consultas SQL y de marcos de datos directamente sobre las grabaciones de robótica. Esto permite filtrar y procesar información por rangos temporales o valores específicos sin necesidad de realizar copias de datos pesadas. El sistema de almacenamiento emplea archivos en formato .rrd, que organiza la información en bloques de columnas, optimizando la velocidad de lectura y la conversión desde otros formatos.

Sus funciones clave incluyen:

• Visualización multimodal: Permite revisar conjuntos de datos complejos, depurar problemas a nivel de detalle y crear vistas personalizadas para cada etapa del desarrollo.
• Depuración de IA física: Facilita el diagnóstico de errores de calibración, trayectorias y desajustes en sistemas 3D y visión artificial.
• Entrenamiento directo: Permite el streaming de datos directamente a la GPU, eliminando pasos intermedios de exportación y optimizando el uso de recursos.
• Transformación de datos: Añade columnas derivadas y evoluciona esquemas sin romper el historial, manteniendo la coherencia de los datos originales.

Esta herramienta es utilizada por equipos de ingeniería en proyectos de vanguardia, como LeRobot de Hugging Face o Project Aria de Meta, para la inspección de entrenamientos y la visualización de secuencias de datos egocéntricos. Para entornos que requieren escalabilidad, la plataforma ofrece Rerun Hub, un backend gestionado que añade funciones de catálogo centralizado, indexación por rangos de bytes y almacenamiento en la nube compatible con S3. Al integrar Rerun, los desarrolladores de inteligencia artificial aplicada al mundo físico consiguen una trazabilidad total de los fallos y una aceleración notable en el ciclo de vida del desarrollo de modelos.