Agent przeglądarkowy może zmniejszać każde żądanie, a jednocześnie podnosić koszt gotowej pracy. Usunięcie dawnych obserwacji może wymusić ponowne wizyty, utratę faktów lub zepsuć ponowne użycie wejścia. Badanie Asany podpowiada metodę: mierz koszt kompletnego, poprawnego zadania, a potem analizuj historię żądań.
Raportowany 76-krotny spadek kosztu modelu i około pięciokrotne przyspieszenie porównują zoptymalizowany GPT-6.1 Sol z pierwotnym produkcyjnym Model B. Zmieniono architekturę i model. GPT-6 Astra w Codex pomagał prowadzić badanie inżynierskie, ale nie wykonywał najtańszej konfiguracji przeglądarkowej.
Zdefiniuj ukończenie przed oszczędnością
Główne badanie obejmowało 144 uruchomienia: cztery modele, sześć polityk historii i zrzutów, dwa limity historii i trzy powtórzenia warunku. Każde zbierało sześć pól dla 32 książek, czyli 192 fakty, z jednego publicznego katalogu demonstracyjnego. Odpowiedź wzorcowa pozwalała sprawdzać poprawność. Trzy inne modele były anonimowe, co ogranicza porównanie dostawców.
Brak odpowiedzi zapisuj jako porażkę, nie tani sukces. Przy 120 000 znaków historii GPT-6.1 Sol odpowiedział tylko w trzech z 18 prób; przy 480 000 według Asany wszystkie 18 odpowiedzi było poprawnych. Nie dowodzi to niezawodności w aplikacjach z logowaniem, zmiennych układach lub niejasnych zadaniach firmowych. Pokazuje silną zależność tego zadania od zachowanych dowodów.
Zachowaj przydatną historię i stabilny prefiks
Bufor promptu ponownie wykorzystuje obliczenia dla identycznego prefiksu, nie odtwarza gotowej odpowiedzi. Pierwotny agent buforował stałe instrukcje, ale wielokrotnie usuwał stare zrzuty i przycinał tekst. Zmiany wcześniejszej historii psuły ponowne użycie rosnącego zapisu. Krótszy prompt mógł więc oznaczać więcej powtarzanego przetwarzania.
Wybrane przycinanie partiami zachowywało do 20 zrzutów, a potem tylko najnowszy. Z większym limitem tekstu tworzyło dłuższe okresy samego dopisywania i 89-procentowy udział buforowanego wejścia GPT-6.1 Sol. Więcej pamięci i rzadsze usuwanie działały wspólnie. Przy większym limicie buforowanie bez przycinania partiami kosztowało więcej niż brak bufora dla trzech z czterech modeli.
Porównuj zgodne konfiguracje, nie tylko nagłówek
W samym GPT-6.1 Sol nowa polityka zmniejszyła koszt czterokrotnie. To inny mianownik niż 76-krotne porównanie modeli i starego z nowym systemem. Model B także zyskał na architekturze. Część starych prób kończyła się limitem kroków, więc ich czas był dolną granicą czasu ukończenia. Żaden wynik nie stanowi neutralnej tabeli rankingowej.
Odtwórz porównanie ze stałymi zadaniami, wzorcami i licznikami użycia dostawcy. Osobno zmieniaj model, przechowywanie zrzutów i limit tekstu, następnie powtarzaj obiecujące ustawienia. Trzy próby wspierają szerokie wzorce, nie precyzyjne małe różnice. Zachowaj ślady żądań, wersje konfiguracji i błędne wyniki poza aktywnym promptem do późniejszego audytu.
Ustal granice przed wdrożeniem
Zachowanie wszystkich zrzutów w dodatkowych próbach czasem obniżało koszt wywołania, lecz długie procesy przekraczają kontekst, a ekonomika bufora zależy od dostawcy. Kompresja ogranicza historię, ale może zgubić szczegóły i zmienić prefiks. Ustal limity kroków, tokenów i wydatków; uwzględniaj powtórzenia, ludzkie poprawki i wygaśnięcie bufora w cenie ukończonego zadania.
Asana twierdzi, że zmiany trafiły do produkcyjnego StackAI, ale nie opublikowała szerokich wyników klientów ani długoterminowych błędów. Pilotuj realne procesy, mierz ukończenia, czas poprawek, trwanie i udział bufora, chroniąc zrzuty, dane logowania i rekordy klientów. Buforowanie zmienia obliczenia i opłaty, nie obowiązki zarządzania danymi. Rozszerzaj tylko, gdy cały proces tanieje bez utraty poprawności lub kontroli.