Safeworld sort de sa phase discrète avec plus de 12 millions de dollars d'amorçage pour examiner une question qu'une démonstration convaincante ne résout pas : comment une machine pilotée par une IA probabiliste se comporte-t-elle près de personnes qu'elle n'a pas été spécifiquement préparée à rencontrer ? Shine Capital et a16z Speedrun ont mené le tour, avec Box Group, le fonds de dotation de Carnegie Mellon University, Innovation Endeavors et SV Angel. L'entreprise propose une couche d'évaluation indépendante entre les développeurs et les acheteurs décidant d'installer des robots auprès de salariés, clients et résidents.
Les fondateurs sont Ding Zhao, directeur du Safe AI Lab de Carnegie Mellon, le dirigeant de startups Kyle Wong et l'ingénieur en apprentissage automatique Simo Rachidi. Leur expérience de la recherche en sécurité, du logiciel d'entreprise, de la cybersécurité et de la création d'entreprise est pertinente, mais ne constitue pas une certification. Safeworld ne présente ni nouveau corps robotique ni modèle général de commande. Son pari porte sur la valeur de preuves indépendantes et reproductibles lorsque les capacités dépassent les démonstrations étroitement scénarisées.
Pourquoi une mise à jour modifie un risque physique
Un bras industriel classique peut suivre des trajectoires programmées dans une cellule protégée. Un modèle vision-langage-action relie les entrées visuelles et linguistiques au mouvement, élargissant les tâches sans programmer chaque action séparément. Cette souplesse augmente aussi les comportements à évaluer. Une personne inconnue, une instruction ambiguë ou une scène inhabituelle peut provoquer une réaction absente d'une démonstration réussie.
Le métal n'a pas besoin de changer pour rendre une évaluation obsolète. Un autre point de contrôle du modèle, prompt, composant perceptif ou mécanisme de planification peut modifier la réponse. Un résultat en entrepôt ne se transpose pas automatiquement à un chantier solaire, un couloir d'hôpital ou un domicile. Une conclusion défendable concerne une configuration donnée, des conditions documentées et des dangers définis, pas un robot universellement sûr.
Les normes existantes concernant les machines, la sécurité fonctionnelle et l'intégration industrielle restent essentielles. Selon le guide de l'Association for Advancing Automation, aucune norme unique ne couvre tous les robots généralistes : les exigences dépendent de la tâche, du lieu, de la mobilité, de l'accès humain, du comportement de l'IA et du marché visé. Relier les preuves aux exigences peut aider, sans remplacer les contrôles physiques de la force, de la vitesse, de la portée et du mouvement.
Les mécanismes de bas niveau assortis d'un niveau de sécurité doivent rester séparés du raisonnement de l'IA et imposer des limites que le modèle ne peut contourner. DeepMind décrit également des protections en couches et des évaluations adversariales, tout en précisant que la détection des personnes n'est pas un système garanti assorti d'un niveau de sécurité. Un comportement sûr pendant une évaluation n'équivaut donc pas à une fonction protectrice certifiée.
Reconstruire une rencontre, puis faire varier l'essentiel
Le processus proposé part d'un environnement observé ou d'un incident. Une équipe le reconstruit dans un simulateur comme Genesis ou MuJoCo, y place un robot virtuel exécutant son véritable logiciel de commande, puis modifie la rencontre. Position, mouvement, apparence et visibilité des personnes, placement des objets et chronologie deviennent des variables. La plateforme vise à générer des trajectoires possibles, prévoir les risques d'interaction, conserver les preuves et rattacher les résultats aux pratiques de sécurité.
Pour un robot mobile approchant un angle mort en usine, la portée de détection, la vitesse, la distance d'arrêt et l'instant d'apparition d'un piéton caché comptent. Porter des cartons, s'accroupir, courir, tomber ou choisir une autre trajectoire transforme la rencontre. Demander régulièrement à une personne de tomber près d'une machine en mouvement serait impraticable et potentiellement dangereux. La simulation explore les variantes sans recréer l'exposition physique.
L'idée rappelle l'évaluation accélérée en conduite autonome : concentrer les essais sur des interactions rares aux conséquences importantes plutôt qu'attendre leur apparition naturelle. Le profil officiel de Zhao décrit l'apprentissage par renforcement, la robotique centrée sur l'humain, le raisonnement de l'IA et l'interaction physique sûre humain-robot, avec des collaborations dans les transports, l'informatique et l'industrie. Ce parcours explique l'approche, sans prouver les performances commerciales.
Gritt Robotics fournit un premier contexte opérationnel. L'entreprise développe de l'IA pour des robots aidant les ouvriers à installer des panneaux photovoltaïques dans des parcs solaires industriels et collabore avec Safeworld sur les simulations de sécurité. Les personnes peuvent rester debout, s'agenouiller, s'accroupir, courir, porter des charges ou tomber, avec des vêtements et morphologies variés. Il s'agit d'un partenariat client précoce, pas d'une preuve publiée de réduction des blessures ni d'un résultat de déploiement validé.
Les preuves doivent résister hors du simulateur
Une simulation dépend de sa représentation de la dynamique du robot, des capteurs, du logiciel, des personnes et de l'environnement. Si une caméra simulée voit mieux que le capteur réel, le risque peut être sous-estimé. Si le modèle humain omet un mouvement important, des milliers d'exécutions peuvent manquer le même danger. Le nombre de scénarios ne remplace pas la couverture des modes de défaillance pertinents.
Un dossier utile identifierait la configuration, les paramètres, la version du modèle, le danger, la réponse et la mesure de sécurité retenue. Rejouer la même famille après une mise à jour peut révéler les changements. Un accident ou quasi-accident pourrait devenir un test de non-régression durable plutôt qu'une démonstration ponctuelle, assurant la traçabilité entre versions et aidant à déterminer si un changement accroît le risque.
Cinq limites restent importantes : la fidélité ; les scénarios hors des hypothèses du générateur ; les mesures ignorant objets lâchés, mouvements instables, sorties obstruées ou signaux déroutants même sans collision ; l'intégration avec freins, actionneurs, capteurs, réseaux, batteries, accessoires et procédures ; et les personnes adaptant leur comportement ou prenant des raccourcis après des opérations répétées sans incident. Le risque peut augmenter sans modification logicielle.
Bruit, frottements, variations de charge, usure, éclairage et latence réseau compliquent encore le système physique. La simulation peut découvrir des défaillances et comparer des configurations, mais pas prouver qu'un robot probabiliste ne blessera jamais personne. Les preuves formelles exigent des systèmes et limites suffisamment spécifiés ; les modèles statistiques rencontrent des entrées impossibles à énumérer exhaustivement. Les tests doivent soutenir un dossier plus large associant protections physiques, limites d'exploitation, formation, signalement d'incidents et surveillance sur le terrain.
L'indépendance doit se démontrer dans l'activité commerciale
Les fabricants utilisent déjà simulation, essais matériels, équipes rouges internes et pilotes contrôlés. Safeworld pourrait se distinguer par un évaluateur aux incitations différentes, doté d'expertise et de connaissances partagées des dangers. Les acheteurs connaissent leur activité sans forcément accéder aux données d'entraînement, à l'architecture ou à l'historique complet des défaillances. Une évaluation séparée peut aider à autoriser, restreindre ou retarder un déploiement plutôt qu'à dépendre des seules promesses du fournisseur.
Un évaluateur payé par son client n'est toutefois pas automatiquement neutre. Les commandes récurrentes de sociétés en croissance créent une pression, surtout si des résultats négatifs retardent un lancement ou imposent des protections supplémentaires. Méthode, périmètre des rapports et traitement des conclusions défavorables comptent autant que l'étiquette indépendante. Un rapport doit distinguer observations et hypothèses, conditions testées et non testées, lacunes connues et risques résiduels acceptés par l'exploitant.
Si le client fournit le modèle du robot, celui de l'humain et tous les scénarios, l'examen pourrait seulement formaliser ses angles morts. Bibliothèques propres de dangers, incertitude documentée et comparaisons avec des incidents réels pourraient atténuer ce risque. Méthodes transparentes, conclusions reproductibles et expertise technique externe renforceraient la confiance ; un beau tableau de bord ou de nombreux scénarios ne suffisent pas.
La société n'a présenté ni certification universelle, ni benchmark public, ni performances validées indépendamment. Une corrélation simulation-terrain ne l'a pas non plus établie comme autorité sectorielle. Montrer que les risques simulés prédisent quasi-accidents ou interventions en pilote serait précieux, mais reste à démontrer, et non un résultat acquis.
Plateforme, service spécialisé ou les deux ?
Safeworld décide encore quelle part du logiciel les clients utiliseront eux-mêmes et quelle part du travail reviendra aux experts. Le logiciel peut soutenir les tests continus et se déployer plus facilement, à condition d'être correctement configuré et interprété. Les services approfondissent l'analyse des dangers, mais se développent plus lentement, coûtent davantage et reposent sur des spécialistes rares.
Un modèle hybride mêlant tests ordinaires chez le client et cas difficiles suivis par des experts est plausible, mais non annoncé. Tesla, Wayve et de grands laboratoires considèrent déjà la simulation comme une capacité centrale. Les concepteurs de modèles construisent des évaluations adversariales ; spécialistes de sécurité, consultants en normes et certificateurs couvrent des besoins voisins. Utiliser la simulation n'est pas un avantage défendable en soi. Détecter des risques importants et produire des preuves reconnues par les responsables pourrait l'être.
L'attente de Zhao selon laquelle les entreprises devront payer pour la sécurité est une prévision de marché, pas une règle d'achat établie. Certains fabricants développeront leurs outils, certains clients recourront aux consultants existants, d'autres attendront des normes et responsabilités plus claires. Le reportage initial estimait que les un à trois mois suivants pourraient clarifier l'équilibre logiciel-service : une attente, pas un calendrier garanti.
Quand un test change une décision de déploiement
La relation avec Gritt offre un prochain examen concret : documenter les changements de comportement, de contrôles du site ou de limites d'exploitation, et les risques résiduels. Un cas traçable avant-après en dirait plus qu'un soutien commercial. Si les partenariats restent exploratoires, ils prouvent un intérêt opérationnel, pas l'adéquation produit-marché ni une protection démontrée.
Le deuxième examen consiste à permettre aux professionnels de contester la sélection des scénarios, les modèles humains et l'incertitude, de distinguer possibilités générées et dangers validés, et de reconnaître une fidélité insuffisante. Revue externe, benchmarks publiés et corrélation documentée avec des essais physiques pourraient aider sans divulguer chaque technique propriétaire. Ce sont des voies possibles vers la crédibilité, non des étapes franchies.
Enfin, les rapports prendraient du poids si les exploitants s'en servaient pour autoriser les versions, les assureurs pour évaluer les risques, ou les procédures normatives reconnaissaient des méthodes compatibles. Ce sont des possibilités, pas des certifications ou obligations actuelles. Après la simulation, l'essentiel est de savoir si quelqu'un modifie le système, restreint le déploiement et conserve les conclusions entre versions. Produire des preuves qui changent les décisions est plus exigeant que multiplier les scénarios.
Sources
Reportage sur le lancement · Plateforme Safeworld · Guide normatif A3 · Protections robotiques DeepMind · Profil officiel de Ding Zhao · Reportage (autre adresse)