Holiday Extras twierdzi, że Codex pomógł zespołowi uzyskać działającą, przebudowaną aplikację w dwa tygodnie. Porównywalny postęp prac wcześniej miałby wymagać ponad sześciu miesięcy. Studium klienta z 12 listopada opisuje również poprawę wyników rezerwacji i mniej błędów po przebudowie.
Istotne pytanie dotyczy zmiany sposobu pracy. Specjaliści biznesowi wnieśli wiedzę o klientach i operacjach. Inżynierowie dostarczyli fundamenty wielokrotnego użytku i zachowali odpowiedzialność za architekturę oraz bezpieczeństwo.
Wyniki pochodzą z historii klienta opublikowanej przez OpenAI. Opisują doświadczenie jednej firmy, porównując stan przed zmianą i po niej w różnych okresach, a nie kontrolowany, niezależny test Codex.
Od dużych corocznych wydań do cotygodniowych ulepszeń
Holiday Extras pomaga klientom wyszukiwać, rezerwować i zarządzać podróżami. Główne zmiany w podstawowej aplikacji wcześniej skupiały się wokół corocznego wydania. Przebudowa zmieniła zarówno doświadczenie klienta, jak i częstotliwość publikacji.
Liam Thompson, wiceprezes ds. innowacji AI i były szef projektowania, współpracował z inżynierami nad przekładaniem wiedzy o klientach na oprogramowanie. Małe, udokumentowane pakiety zapewniały podstawy wielokrotnego użytku. Inżynierowie koncentrowali się na architekturze, API, bezpieczeństwie i procesach programistycznych.
Według studium zespół stworzył w pełni działającą przebudowaną aplikację w dwa tygodnie. Nie oznacza to, że w tym czasie ukończono wszystkie wymagania produkcyjne, przeglądy czy migracje. Porównanie dotyczy postępu prac, który wcześniej zająłby ponad sześć miesięcy.
Nowe rozwiązanie wykorzystywało rezerwacje, podróże i historię klientów do personalizacji. Według opisu Codex umożliwił równoległe rozwijanie funkcji iOS i Androida, zamiast późniejszego udostępniania ulepszeń na Androidzie.
W pierwszym miesiącu po przebudowie główna aplikacja przeszła na cotygodniowe wydania z wieloma nowymi funkcjami. Osobna aplikacja Countdown zmieniła tempo z około jednej funkcji na sześć miesięcy na kilka dodatków tygodniowo. To różne produkty i miary, a nie wymienne statystyki wydań.
Co naprawdę mierzą wskaźniki konwersji i błędów
Firma podaje wzrost konwersji od otwarcia aplikacji do rezerwacji o 32,5% po przebudowie głównej aplikacji. Nie ujawniono podstawowych poziomów konwersji ani wielkości próby. Nie wolno przepisywać tego wyniku jako wzrostu o 32,5 punktu procentowego.
Firma podaje też spadek wskaźnika błędów głównej aplikacji z 19% do 9%. To obniżenie o 10 punktów procentowych. Określenie go po prostu jako redukcji o 10% zacierałoby różnicę między zmianą względną a punktami procentowymi.
Źródło wyraźnie zaznacza, że wyniki porównują poprzednią i przebudowaną główną aplikację w różnych okresach. Nie oddzielają więc wkładu Codex od personalizacji, innych zmian aplikacji ani różnic między okresami. Studium potwierdza przypisane firmie wyniki operacyjne, nie gwarantuje takiego samego efektu gdzie indziej.
To rozróżnienie jest ważne dla zespołów rozważających podobne wdrożenie. Szybszy rozwój i lepsze wyniki biznesowe mogą występować razem, choć dostępne dowody nie ustalają, która zmiana spowodowała konkretny rezultat.
Opinie klientów stają się zadaniami programistycznymi
Przykład Countdown pokazuje opisaną granicę zatwierdzania. Gdy klient poskarżył się na brak widoku listy, agent przygotował poprawkę. Thompson zatwierdził ją przed przekazaniem. Według studium klient później zmienił ocenę z jednej na pięć gwiazdek.
To konkretny przykład krótszej pętli informacji zwrotnej, nie dowód, że każda zmiana napisana przez agenta może ominąć kontrolę człowieka. Opisana kolejność obejmuje przygotowanie, zatwierdzenie i przekazanie.
Takie podejście rozszerzono także na operacje. David Lee, dyrektor ds. innowacji i wzrostu, opisał system zamieniający rozmowy klientów dotyczące transferów lotniskowych w zgłoszenia umożliwiające podjęcie działania. Pomaga to wykrywać problemy w sieci dostawców. Źródło nie przedstawia zmierzonej poprawy rozwiązywania zgłoszeń, więc przykład potwierdza proces pracy, nie ilościowo określoną poprawę obsługi.
Wiedza biznesowa nadal potrzebuje fundamentów inżynierskich
Dostęp do ChatGPT Enterprise w całej firmie poprzedził wdrożenie Codex. Prezes Matthew Pack również sam używał Codex. Traktował bezpośrednie doświadczenie jako sposób zrozumienia potrzeb współpracowników i ponownego przemyślenia tego, co firma może tworzyć.
Studium opisuje przyzwolenie na eksperymentowanie połączone z zabezpieczeniami. Inżynierowie stworzyli pakiety, mechanizmy bezpieczeństwa i procesy wspierające wkład pracowników spoza tradycyjnych ról programistycznych. Doświadczony księgowy przebudował na przykład systemy finansowe, wykorzystując wiedzę biznesową i uwagi współpracowników.
Ten podział pracy jest sednem historii. Zgłaszana korzyść nie polegała wyłącznie na szybszym tworzeniu kodu. Osoby rozumiejące problemy klientów i operacji mogły współtworzyć zmiany, podczas gdy inżynierowie zapewniali podstawy techniczne.
Holiday Extras korzystało też z modeli OpenAI w spersonalizowanym doświadczeniu aplikacji. Historia opisuje dots jako wsparcie koordynacji i analiz, w tym proaktywnie przygotowany raport wyników po premierze. Są to odrębne zastosowania w ramach szerszej współpracy; nie należy przypisywać ich wszystkich wyłącznie Codex.
Kolejny cel to szersze administrowanie przez AI
Pack chce, aby więcej systemów firmy było administrowanych poprzez AI, a pracownicy kierowali pracą i kształtowali wyniki. To ambicja opisana w studium, nie ukończona już transformacja całej firmy.
Dla innych zespołów najbardziej przenośne jest połączenie wiedzy dziedzinowej, fundamentów inżynierskich wielokrotnego użytku i zatwierdzania przez człowieka. Zgłoszona przebudowa w dwa tygodnie i wzrost rezerwacji czynią ten przypadek wartym analizy. Różne okresy porównawcze i brak szczegółów pomiaru ograniczają jednak możliwość przewidywania wyników innej organizacji.
