12 listopada AWS ogłosił aktualizację środowiska AgentCore, zwiększając limit sesji do 8 vCPU i 32 GB. W komunikacie opisano też odzyskiwanie pamięci, skalowanie podczas bezczynności i obsługę systemów plików dla długo działających agentów.
Zmiana dotyczy praktycznego problemu wdrożeniowego: agenci czekają na modele, narzędzia i ludzi, a ich środowiska mogą nadal zużywać zasoby. AWS chce ograniczyć ten koszt bezczynności, zachowując oddzielne środowiska wykonawcze.
Są to deklaracje AWS dotyczące produktu i wydajności. Komunikat nie dowodzi, że każde obciążenie uzyska maksymalne przyspieszenie startu czy oszczędności pamięci.
Większe sesje zachowują granicę microVM
AgentCore Runtime to zarządzana warstwa obliczeniowa Amazon Bedrock AgentCore. Według AWS każda sesja nadal działa we własnej, sprzętowo izolowanej mikromaszynie wirtualnej Firecracker, z osobną tożsamością, polityką i dziennikami audytu.
Nowe limity oznaczają czterokrotnie większą moc obliczeniową niż poprzednio: do 8 vCPU i 32 GB pamięci. Obrazy kontenerów mogą mieć do 10 GB. Docelowe zastosowania obejmują kompilację dużych repozytoriów, pracę w przeglądarce i lokalne wnioskowanie modeli.
AWS deklaruje start poniżej dwóch sekund niezależnie od rozmiaru obrazu i współbieżności oraz przyspieszenie do 15 razy. To zachowanie raportowane przez dostawcę, a nie pomiary wykonane na potrzeby tego artykułu.
Kompromis architektoniczny jest znany. Przygotowane wcześniej środowiska skracają oczekiwanie, lecz zużywają zasoby bezczynnie. Środowiska na żądanie oszczędzają pojemność, ale mogą powodować opóźnienie startu. AWS przedstawia nową wersję jako sposób ograniczenia tego kompromisu bez samodzielnego utrzymywania pul gotowych środowisk i klastrów.
Oszczędności pamięci zależą od przerw i zwalniania zasobów
Według AWS środowisko odzyskuje pamięć w ciągu kilku minut po jej zwolnieniu przez agenta. Bezczynny agent skaluje się do zera. Dla agentów wieloturowych z naturalnymi przerwami AWS podaje zużycie pamięci na sesję niższe nawet o 68%.
To zastrzeżenie jest istotne. Wartość 68% dotyczy pamięci w zadaniach z przerwami, a nie bezwarunkowego spadku całkowitych kosztów działania. Wywołania modeli, narzędzia, przechowywanie i zachowanie obciążenia wpływają na cały rachunek.
Dla stale działających zadań taryfa z zadeklarowaną bazą ustala minimalną rozliczaną pamięć na sesję. Sesje mogą chwilowo wykorzystać czterokrotność tej bazy. Minimalne zobowiązanie i skalowanie przy bezczynności odpowiadają innym wzorcom pracy; nie są tym samym rozwiązaniem ekonomicznym.
Komunikat wymienia też odtwarzanie zainicjalizowanych środowisk jako część zmian efektywności. Zespoły nadal muszą mierzyć własną inicjalizację, okresy aktywności i przerwy.
Klienci podają wyniki z różnymi punktami odniesienia
Mission Cloud opisuje wstępne porównanie tego samego obciążenia między wersjami: zimne starty żądań wnioskowania szybsze o 35%, starty kontroli stanu szybsze o 77% i zmierzony koszt środowiska na wywołanie niższy o 17%. Są to wyniki klienta przytoczone przez AWS.
Zuora osobno raportuje około 60% mniej pamięci na wywołanie w wielu zastosowaniach, przy większym ruchu i stałym opóźnieniu. Dotyczy to innego wskaźnika i obciążenia. Nie można połączyć tego z kosztem wywołania Mission Cloud w uniwersalną oszczędność.
Również przykłady opisowe dotyczą odmiennych zastosowań. Coinbase wskazuje izolowane sesje agentów programistycznych. Rescale opisuje agentów sprawdzających dane wejściowe symulacji, diagnozujących zadania, wybierających sprzęt i tworzących raporty, pod kontrolą inżynierów. Thomson Reuters opisuje hosting i skalowanie prawniczych procesów CoCounsel z zachowaniem kontroli nad działaniem i integracją.
Przykłady wyjaśniają przydatność zarządzanej izolacji. Nie potwierdzają niezależnie wszystkich deklaracji bezpieczeństwa i niezawodności z komunikatu.
Przechowywanie danych także wymaga kontroli
Długie sesje gromadzą pliki, dane uwierzytelniające i wyniki narzędzi. Samo izolowanie obliczeń nie określa sposobu zapisu danych ani uprawnionych użytkowników.
AWS podaje, że agenci mogą dynamicznie montować systemy plików i zapisywać pracę, w tym w zasobniku Amazon S3 dzięki FUSE. Przedstawia to jako rozszerzenie granicy zaufania na dane objęte wspólnymi mechanizmami kontroli.
Ważne jest zastrzeżenie czasowe. Ten sam komunikat zapowiada na okres do re:Invent ograniczanie zakresu według sesji: dane uwierzytelniające z etykietą sesji mają wiązać ją z własnym folderem. Nie należy opisywać tego zobowiązania jako funkcji dostępnej już 12 listopada.
Izolację trzeba więc rozpatrywać razem ze skonfigurowanymi tożsamościami i politykami dostępu do danych. Sprzętowa separacja sama nie dowodzi poprawności uprawnień aplikacji.
Dostępność i następny punkt kontroli
AWS informuje o dostępności nowej wersji w regionach Ameryki Północnej, Ameryki Południowej, Europy oraz Azji i Pacyfiku. Akapit o dostępności nie zawiera pełnej listy poszczególnych regionów.
Bezpośrednie zmiany to większe izolowane sesje, deklarowana szybsza inicjalizacja i elastyczniejsze użycie pamięci. Następnym konkretnym etapem dla danych jest obiecane przypisanie folderu do sesji. Zespoły wdrożeniowe powinny sprawdzić opóźnienia, pamięć i uprawnienia na własnych obciążeniach, by ocenić spełnienie swoich wymagań.
