Sección actual: Bloom, una interfaz de operador para robots de asistencia

05 · Producto y medtech · Caso de estudio

Bloom, una interfaz de operador para robots de asistencia

Proyecto Extender · ISIR, Sorbonne Université / CNRS · 2026

En resumen

Diseñé, construí y entregué Bloom, la interfaz con la que personas en silla de ruedas manejan un brazo robótico de asistencia. En septiembre de 2026 se convirtió en la interfaz de operador oficial de Extender y reemplazó la aplicación de tableta anterior.

Una persona en silla de ruedas maneja el brazo Explorer, que sostiene una botella. Unos íconos muestran las entradas posibles: contracción muscular, voz, actividad cerebral, movimiento residual y mirada.
El problema en una imagen: muchas entradas posibles, un brazo y una persona que debe mantener el control. Ilustración de ORTHOPUS.
  • 140registros de decisión, uno por cada elección de arquitectura
  • 960+pruebas automatizadas, 620 de frontend y 342 de backend
  • 17contratos de apps verificados en cada versión
  • 2robots manejados de punta a punta en simulación por la CI
Problema
Las interfaces anteriores amarraban el diseño de pantalla, los dispositivos de entrada, el transporte ROS y un solo robot. Cada estudio, dispositivo nuevo o segundo robot implicaba código nuevo, y la seguridad quedaba repartida entre la pantalla y el robot.
Objetivo
Un solo sistema de interfaz que los investigadores puedan reconfigurar sin un desarrollador, en el que los operadores confíen y que los clínicos puedan poner frente a un participante.
Mi rol
Enfoque de producto, UX, arquitectura y entrega, y luego acompañar al equipo en su adopción.

Siete decisiones de producto y por qué

  1. Un modelo de control, dos superficiesUn Builder visual y un Runtime tipo kiosco muestran el mismo modelo, así el operador recibe exactamente lo que se revisó.
  2. La seguridad vive en el backendListas permitidas, límites de frecuencia, validación, registro de auditoría y un solo dueño del comando por sesión: ninguna pantalla puede saltárselos.
  3. Un STOP enclavado que todos pueden presionarReservado en cada pantalla, rechaza toda fuente de comando hasta que se libera, incluso para un supervisor de solo lectura.
  4. Revisión antes de que una pantalla llegue a un usuarioUna lista de chequeo detecta objetivos inalcanzables, controles demasiado pequeños y un STOP faltante. Los hallazgos bloquean en lugar de advertir.
  5. ROS se queda en la frontera de los adaptadoresEl frontend nunca importa ROS, así Bloom sobrevivió a la reescritura del control y puede servir a otros robots.
  6. Primero simulación, la CI maneja los robotsCada versión corre de punta a punta contra las dos simulaciones, y el tiempo en hardware se dedica a validar.
  7. Entregar las apps, no solo la herramientaApps listas para abrir en diez minutos hicieron que el producto fuera real para el equipo antes de estar terminado.
Recorrido animado de Bloom: se compone una pantalla en el Builder y luego se maneja el brazo desde el Runtime
Bloom en movimiento: una pantalla compuesta en el Builder, revisada y luego ejecutada como kiosco.
Lienzo del Builder de Bloom con una pantalla en composiciónRuntime de Bloom en modo de barrido con un solo pulsador, un control resaltado a la vez
Izquierda: el lienzo del Builder. Derecha: un perfil de barrido con un solo pulsador para operadores con movimientos muy limitados.
Usuarios y restriccionesPara quién es Bloom y con qué tuvo que convivir
Operadores
Personas con movilidad reducida en los miembros superiores, que manejan el brazo desde una tableta, un joystick, un control o un solo pulsador de asistencia.
Investigadores y clínicos
Realizan estudios y necesitan componer una pantalla, revisarla y entregarla a un participante de forma segura.
Contexto médico
Seguridad guiada por el riesgo, comportamiento trazable y registro de auditoría, no solo una demo que funciona.
Dos robots
Orthopus Explorer y Kinova Gen3, con límites distintos: Explorer no tiene anillo colector y tiene topes articulares estrictos.
Hardware y equipo
Tabletas de laboratorio de 1024 × 600, tres idiomas y un stack de control reescrito al mismo tiempo.
Lo que se entregóBloom 0.2.0, licencia MIT, septiembre de 2026
Interfaz de operador Bloom con la pantalla Drive de Explorer Manager y su barra de STOP
Entradas
Táctil, teclado y control combinados en un comando de 6 DoF, más perfiles de barrido con un solo pulsador.
Apps
Explorer Manager y Kinova Manager: Drive, Posiciones, retroalimentación del robot, fuentes de comando, Joystick Lab y un espejo para supervisión.
Acceso
Interfaces en inglés, español y francés, práctica guiada para el operador y una vista de depuración con estados articulares en vivo.
ROS 2
Adaptadores para el gestor de comandos, tópicos, servicios, descubrimiento y la cámara de la pinza.
Abierto
Versión 0.2.0 bajo MIT, con tutoriales, una guía de seguridad para operadores y registros de decisiones.
Lo que haría despuésPruebas en hardware, pantallas pequeñas, zonas de seguridad
  • Pruebas de aceptación en las tabletas objetivo y los dos brazos, con los pulsadores para los que se diseñaron los perfiles de barrido.
  • Los diseños compactos de 1024 × 600 de la entrega de diseño, y luego una revisión nativa del español y el francés.
  • Zonas de seguridad en la interfaz, cuando el controlador exponga las restricciones cartesianas que la librería QP ya maneja.
  • Una explicación corta del modo de control híbrido, para que investigadores, clínicos y operadores lo describan igual.
El resto del trabajo en ExtenderPlataforma, control, investigación y coordinación
Plataforma
Migré el espacio de trabajo a Ubuntu 24.04 y ROS 2 Jazzy, y mantengo el punto de entrada, la guía de compilación y el entorno de Python compartido.
Primera interfaz
Construí y luego retiré la primera teleoperación en tableta, cuando Bloom la cubrió.
Control
Conecté Bloom a la nueva arquitectura de control de tres capas, con servovisión y detección de AprilTag.
Demostrador
Pasé el demostrador de asistencia Petanca (PEPR Robótica) al nuevo stack.
Incorporación
Escribí el perfil de la organización, los tutoriales y las reglas de contribución para quienes llegan.
Investigación
Control compartido y manipulación de asistencia, artículos enviados (ICRA) y coordinación con clínicos y socios.