A Orca Security relata reduzir tokens de entrada em 93%, custo em 90% e latência em 75% ao trocar um prompt gigante por nove etapas Amazon Bedrock. O detalhe importante é deixar de enviar a maior parte de um esquema que a pergunta não usa.
Discovery AI traduz linguagem natural em filtros Sonar. São mais de 900 modelos de infraestrutura e aplicações, com recursos, identidades, vulnerabilidades e relações. Antes, analistas precisavam de JSON preciso, nomes e 18 operadores. A interface reduz a barreira, não a necessidade de investigação correta e autorizada.
O caso relata milhares de consultas diárias desde março de 2026. É descrição conjunta AWS–Orca do sistema próprio, não comparação independente com concorrentes.
O protótipo revelou o problema de produção
A primeira versão colocava mais de 900 definições, relações e exemplos num grande modelo. Parceiros e usuários gostavam, segundo a empresa, mas carga comparável gastava dois milhões de tokens e cerca de 60 segundos. Perguntas com vários modelos, relações aninhadas e condições exigiam ajustes.
O fluxo atual começa com contexto da organização, provedores de nuvem e metadados. Um matcher determinístico reconhece IPs, CVEs, hashes, nomes, URLs e alertas. Padrões conhecidos retornam filtros predefinidos sem modelo.
Outras solicitações passam por triagem de injeção, assuntos irrelevantes e entradas sem suporte. Isso separa o caminho exato da interpretação e localiza falhas, sem esconder responsabilidades numa instrução.
Mais etapas podem reduzir trabalho generativo quando cada uma estreita o que continua incerto. Essa é a mudança arquitetural.
Recuperação e seleção diminuem o material
Embeddings Titan buscam 20 exemplos validados; Cohere Rerank 3.5 reduz a cinco. Top-K puro frequentemente trazia quase duplicatas. MMR diversificava, mas às vezes tirava o melhor exemplo do topo. Busca seguida de reranking foi o compromisso.
Correspondência exata ou de alta confiança reutiliza filtro conhecido. Caso contrário, exemplos orientam geração. O limiar importa, pois perguntas parecidas podem exigir condições diferentes.
O seletor lê descrições compactas de finalidade, campos e relações dos modelos Sonar. Só os esquemas completos escolhidos chegam ao gerador. Claude Haiku 4.5 faz seleção e geração; Nova 2 Lite cuida das tarefas de guarda e validação com foco em rapidez e custo.
Verificações estáticas conferem modelo, campo e operador; depois a API Sonar verifica. Erros estruturados permitem corrigir o elemento específico, com tentativas limitadas. A última etapa do diagrama pós-processa e cria URL Discovery, não entrega simplesmente texto bruto.
Dois milhões viram 140 mil tokens, redução de 93%. Custo cai 90% e 60 segundos viram 15, redução de 75%. É comparação com protótipo próprio, não economia universal prometida.
Filtro válido não é investigação correta
O esquema rejeita campos inventados e operadores ilegais, mas não comprova intenção completa. Pode faltar exceção, período ou relação.
“Mostre bancos expostos” depende de caminhos, tipos e risco aceito. Pressupostos ou filtro deveriam aparecer. O caso explica geração e validação melhor que toda a revisão do analista.
Os dados incluem ativos internos, falhas, contas e configurações. Classificar ataque não autoriza acesso. É necessário limitar dados antes do modelo e executar sob direitos do solicitante, não os poderes amplos do assistente.
A orientação AWS recomenda propagar identidade e controlar acesso fora do modelo. Evita o intermediário confuso, em que pessoa menos privilegiada usa serviço mais poderoso. O texto Orca não detalha todo isolamento de tenants e usuários.
Isso não demonstra vulnerabilidade, só limita a conclusão. Validade, intenção e acesso são três testes; percentuais de eficiência não os substituem.
Pessoas e exemplos governados sustentam qualidade
Orca avalia correção, completude e equivalência com referências, por categorias de pergunta e modelo. Julgamento LLM é complementado por produto, suporte, pesquisadores e clientes.
Consultas incertas entram na fila diária de rotulagem. Correções de especialistas podem ser recuperadas sem implantação. O diretor de IA Or Gabay chama esse trabalho de principal investimento de qualidade no longo prazo, um processo humano.
Ajuda diante de novas perguntas e ameaças. A matriz cloud MITRE organiza investigações, mas um banco estático envelhece com recursos e ataques.
Correções exigem política comum. A biblioteca precisa de versões, remoção, revisão e proteção de informações sensíveis. Bedrock facilita substituir modelo, não elimina regressão em seleção, recuperação, geração e validação.
Eficiência específica, precisão pública incompleta
Não se publicam conjunto, amostra, taxa de aprovação ou aumento exato de precisão. A alegação de melhoria em consultas complexas não pode ser reproduzida independentemente.
Rubrica, referências e concordância humana influenciam o juiz. Frequência de esgotamento de tentativas e participação de atalhos e reutilização também não aparecem.
Os 15 segundos não distinguem mediana e cauda. Carga comparável depende de mix, cache, saída, modelos e tentativas. Milhares diários não revelam usuários, aceitação, abandono, edições ou tempo poupado.
A lição não é que nove sempre vencem um modelo. É selecionar contexto, atribuir tarefas, reutilizar padrões e fazer controles determinísticos. Security Lake também traduz investigações; Orca destaca a redução do grande esquema antes de gerar.
O desenho parecido com compilador expõe custo e erro, mas adiciona dependências e avaliações. Qualidade aceita após mudanças determinará sua duração.
O ganho relatado é substancial contra o próprio protótipo. Faltam resultados por categoria difícil, adoção sustentada e regressão após atualizações. Isso conectará inferência barata a decisões rápidas, válidas, fiéis à intenção e autorizadas.