Orca Security informa de 93% menos tokens de entrada, 90% menos coste y 75% menos latencia al sustituir un prompt enorme por nueve etapas Amazon Bedrock. Importa lo que deja de enviarse: gran parte de un esquema innecesario para la pregunta.
Discovery AI traduce lenguaje natural a filtros Sonar. Más de 900 modelos cubren recursos, identidades, fallos y relaciones. Antes había que escribir JSON, saber nombres y elegir entre 18 operadores. Reducir la barrera no elimina una investigación correcta y autorizada.
El caso dice procesar miles de preguntas diarias desde marzo de 2026. Es relato conjunto AWS–Orca, no comparación independiente con competidores.
El prototipo expuso el problema productivo
Primero se enviaban más de 900 definiciones, relaciones y ejemplos a un modelo grande. Socios y empleados apreciaban resultados, dice Orca, pero una carga comparable consumía dos millones de tokens y 60 segundos. Varios modelos, anidaciones y condiciones aún exigían ajustes.
El nuevo flujo añade contexto de organización, nubes y metadatos. Un comparador determinista reconoce IP, CVE, hashes, nombres, URL y alertas. Patrones conocidos devuelven filtros predefinidos sin modelo.
El resto pasa controles de inyección, temas ajenos y entradas no compatibles. Separa vía exacta e interpretación y hace localizables los fallos, en vez de esconder responsabilidades en una instrucción.
Más etapas reducen generación cuando cada una acota incertidumbre. Esa es la transformación de arquitectura.
Recuperación y selección reducen material
Embeddings Titan recupera 20 ejemplos validados; Cohere Rerank 3.5 elige cinco. Top-K daba casi duplicados; MMR añadía variedad pero desplazaba a veces el mejor. Recuperación y nuevo ranking fueron el compromiso.
Coincidencia exacta o muy segura reutiliza filtro conocido. En otro caso los ejemplos guían generación. El umbral importa: preguntas parecidas pueden exigir condiciones distintas.
El selector lee descripciones breves de los modelos Sonar disponibles: su finalidad, campos y relaciones. Solo los esquemas completos elegidos y las relaciones necesarias pasan a la generación. Anthropic Claude Haiku 4.5 realiza selección y generación; Amazon Nova 2 Lite se ocupa de las barreras de seguridad y la validación donde Orca prioriza inferencia más rápida y barata.
Se verifica estáticamente modelo, campo y operador, después en API Sonar. Errores estructurados permiten corregir el elemento con intentos limitados. La última etapa procesa respuesta y construye URL Discovery, no trata texto bruto como producto.
Dos millones pasan a 140.000 tokens, reducción de 93%. Coste baja 90%; 60 segundos se convierten en 15, reducción de 75%. Es contra prototipo propio, no promesa universal.
Válido no es necesariamente correcto
El esquema rechaza campos inventados y operadores ilegales, sin demostrar intención completa. Puede faltar excepción, periodo o relación.
«Mostrar bases expuestas» depende de rutas, tipos y riesgo aceptado. Deben verse supuestos o filtro. El caso explica generación mejor que toda la revisión del analista.
Los datos incluyen nombres internos de activos, vulnerabilidades, configuraciones y relaciones entre cuentas. Un clasificador de ataques al prompt no es un servicio de autorización. Hay que limitar qué información llega al modelo y ejecutar la consulta final con los permisos apropiados del solicitante, no con el acceso más amplio del backend del asistente.
AWS recomienda propagar identidad y controlar fuera del modelo. Evita el intermediario confundido: alguien menos privilegiado usa uno poderoso. Orca no detalla todo aislamiento de tenants y usuarios.
No prueba vulnerabilidad, limita conclusiones. Validez, intención y acceso son pruebas separadas que los porcentajes no sustituyen.
Personas y ejemplos gobernados sostienen calidad
Orca mide corrección, completitud y equivalencia con referencias por categoría. El juez LLM se complementa con producto, soporte, investigadores y clientes.
Preguntas inciertas entran en etiquetado diario. Correcciones expertas pueden recuperarse sin desplegar código. Or Gabay, director IA, llama a esa interfaz principal inversión de calidad duradera: proceso humano.
Ayuda ante preguntas y amenazas nuevas. MITRE cloud organiza investigación, pero biblioteca estática envejece con recursos y ataques.
Las correcciones requieren una política coherente y revisión. La biblioteca necesita versiones, procedimientos de eliminación, controles de calidad y protección contra la entrada de información sensible de producción en los ejemplos recuperados. Cambiar un modelo de etapa mediante Bedrock puede simplificar la integración, pero sigue exigiendo pruebas de regresión de selección, recuperación, generación y validación.
Eficiencia concreta, exactitud pública incompleta
No se publican conjunto, muestra, tasa de aprobado ni ganancia exacta. La mejora compleja declarada no permite reproducirla independientemente.
La rúbrica del juez y las consultas de referencia también condicionan el resultado. El acuerdo entre revisores humanos, la frecuencia de alcanzar el límite de reintentos y la proporción de coincidencias exactas y ejemplos reutilizados ayudarían a explicar el comportamiento. Esas tasas no se publican.
Los quince segundos no distinguen mediana y latencia de las solicitudes más lentas. Una carga comparable depende de la mezcla de preguntas, caché, tamaño de salida, modelos y correcciones intentadas. Miles de solicitudes diarias muestran uso, pero no revelan analistas únicos, filtros aceptados, preguntas abandonadas, ediciones manuales o tiempo realmente ahorrado.
La lección no es «nueve siempre ganan». Es seleccionar contexto, repartir tareas, reutilizar patrones y aplicar reglas deterministas. Security Lake también traduce preguntas; Orca reduce especialmente el esquema antes de generar.
El diseño similar a compilador expone costes y fallos, pero añade dependencias y evaluación. La calidad tras cambios determinará duración.
El avance declarado frente al prototipo es importante. Faltan categorías difíciles, adopción sostenida y regresión posterior. Así se conectaría inferencia barata con decisiones rápidas, válidas, fieles a intención y permitidas.