Orca Security annonce 93% de jetons d’entrée en moins, 90% de réduction de coût et 75% de latence en moins après remplacement d’un prompt géant par neuf étapes Amazon Bedrock. Le point clé est de ne plus envoyer la majorité d’un schéma inutile à la question.
Discovery AI traduit le langage naturel en filtres Sonar. Plus de 900 modèles couvrent ressources, identités, vulnérabilités et relations. Auparavant, les analystes devaient écrire du JSON précis, connaître les noms et 18 opérateurs. Réduire cette barrière ne supprime pas une enquête correcte et autorisée.
Le cas évoque des milliers de requêtes quotidiennes depuis mars 2026. C’est un récit conjoint AWS–Orca, non une comparaison indépendante avec les concurrents.
Le prototype révélait le problème de production
La première version envoyait plus de 900 définitions, relations et exemples à un grand modèle. Partenaires et équipes appréciaient les résultats, dit Orca, mais une charge comparable utilisait deux millions de jetons et environ 60 secondes. Plusieurs modèles, imbrications et conditions demandaient encore des retouches.
La nouvelle chaîne ajoute contexte organisationnel, fournisseurs cloud et métadonnées. Un rapprochement déterministe reconnaît IP, CVE, empreintes, noms, URL et identifiants d’alertes. Les motifs connus donnent des filtres prédéfinis sans modèle.
Les autres demandes passent un contrôle contre injection, hors-sujet et entrées non prises en charge. Voie exacte et interprétation sont séparées, les pannes localisables plutôt que cachées dans une instruction.
Davantage d’étapes peuvent donc réduire la génération quand chacune restreint l’incertitude restante. C’est le changement d’architecture.
Recherche et sélection réduisent la matière
Les plongements Titan récupèrent 20 exemples validés ; Cohere Rerank 3.5 en retient cinq. Le top-K simple renvoyait souvent des quasi-doublons. MMR diversifiait mais pouvait déclasser le meilleur cas. Récupération puis reclassement constituent le compromis.
Une correspondance exacte ou très fiable réutilise le filtre connu. Sinon, les exemples guident la génération. Le seuil importe : deux formulations proches peuvent nécessiter des conditions différentes.
La sélection lit des descriptions compactes du rôle, des champs et relations Sonar. Seuls les schémas complets retenus arrivent au générateur. Claude Haiku 4.5 choisit et génère ; Nova 2 Lite assure les contrôles et validations privilégiant rapidité et coût.
Des vérifications statiques contrôlent modèle, champ et opérateur, puis l’API Sonar vérifie. Les erreurs structurées orientent une correction ciblée, avec essais limités. La dernière étape du diagramme traite la réponse et construit l’URL Discovery, pas simplement du texte brut.
Deux millions deviennent 140 000 jetons, soit 93% de moins. Le coût baisse de 90%, 60 secondes deviennent 15, soit 75%. La base est le prototype interne, non une promesse valable partout.
Un filtre valide n’est pas forcément la bonne enquête
Le schéma rejette champs inventés et opérateurs interdits, sans prouver toute l’intention. Exception, période ou relation peuvent manquer.
« Montrer les bases exposées » dépend des chemins réseau, types et risques acceptés. Hypothèses ou filtre devraient être visibles. Le cas décrit davantage génération et validation que l’expérience complète de révision.
Les données contiennent actifs internes, défauts, configurations et comptes. Un classificateur d’attaque n’est pas une autorisation. Il faut limiter les informations avant le modèle et exécuter avec les droits du demandeur, non ceux plus larges de l’assistant.
AWS recommande propagation d’identité et contrôle hors modèle. Cela évite le mandataire confus, où un utilisateur moins privilégié utilise un intermédiaire puissant. Orca ne détaille pas toute l’isolation des clients et utilisateurs.
Ce n’est pas la preuve d’une faiblesse, mais une limite aux conclusions. Validité, intention et accès sont trois tests, non remplaçables par l’efficacité.
Humains et exemples gouvernés portent la qualité
Orca évalue correction, complétude et équivalence aux références par catégorie de question et modèle. Le juge LLM est complété par produit, assistance, recherche et clients.
Les questions incertaines entrent dans une file quotidienne d’étiquetage. Les corrections expertes deviennent récupérables sans déploiement. Or Gabay, directeur IA, présente cette interface comme l’investissement de qualité à long terme le plus important : un processus humain.
Il aide face aux questions et menaces nouvelles. La matrice cloud MITRE organise l’enquête, mais une bibliothèque statique vieillit avec ressources et attaques.
Les corrections exigent politique commune, versions, suppression, revue et protection des données sensibles. Bedrock facilite le remplacement d’un modèle, pas la régression de la sélection à la validation.
Efficacité chiffrée, précision publique incomplète
Jeu d’évaluation, échantillon, taux de réussite et gain exact ne sont pas publiés. L’amélioration des cas complexes n’est pas documentée pour reproduction indépendante.
Barème, références et accord humain influencent le juge. On ignore fréquence d’épuisement des essais et part des voies directes ou réutilisées.
Quinze secondes ne séparent pas médiane et longue traîne. Charge comparable dépend de demandes, cache, sortie, modèles et tentatives. Des milliers de questions ne disent rien des utilisateurs, acceptations, abandons, retouches ou du temps gagné.
La leçon n’est pas « neuf gagnent toujours ». Il faut sélectionner le contexte, distribuer les rôles, réutiliser les modèles éprouvés et appliquer les règles de façon déterministe. Security Lake traduit aussi les questions ; Orca réduit particulièrement le vaste schéma avant génération.
Cette division proche du compilateur expose coûts et erreurs, mais ajoute dépendances et évaluation. La qualité après changements déterminera sa durée.
Le gain déclaré face au prototype est notable. Il manque des résultats par catégorie difficile, l’adoption durable et la régression après mise à jour. Cela relierait inférence économique et décisions rapides, valides, fidèles et autorisées.