Czym jest Mixture of Experts (MoE)? Architektura współczesnych dużych modeli językowych

Mixture of Experts (MoE), czyli architekturę stojącą za współczesnymi dużymi modelami językowymi, łatwiej zrozumieć, gdy powiąże się tę koncepcję z realną decyzją, zamiast traktować jako kolejne modne hasło. Ten przewodnik AI Tools Radar skupia się na praktycznej idei, istotnych kompromisach i pytaniach, które warto zadać przed wdrożeniem narzędzia lub procesu pracy.

Mixture of Experts w AI to architektura sieci neuronowej dzieląca obliczenia między wiele wyspecjalizowanych podsieci nazywanych ekspertami. Lekka sieć bramkująca wybiera ekspertów przetwarzających każdy token wejściowy. W danym momencie aktywuje się tylko niewielki podzbiór. To selektywne kierowanie odróżnia MoE od tradycyjnych modeli gęstych, które używają każdego parametru dla każdego tokenu.

Projekt zyskał popularność, ponieważ pozwala zwiększyć całkowitą liczbę parametrów do setek miliardów, zachowując koszt wnioskowania porównywalny ze znacznie mniejszymi modelami. Wzorzec wykorzystują Mixtral 8x7B i niektóre wersje GPT-4. Zrozumienie mechaniki pomaga oceniać twierdzenia o skali i wydajności modeli.

Najważniejsze wnioski. • MoE zastępuje jedną dużą sieć jednokierunkową wieloma mniejszymi sieciami ekspertów oraz routerem wybierającym właściwy podzbiór. • Rzadka aktywacja oznacza, że każdy token przetwarza tylko stała liczba ekspertów, więc koszt obliczeń na token pozostaje w przybliżeniu stały mimo wzrostu całkowitej liczby parametrów. • Modele takie jak Mixtral 8x7B pokazują, że wersje MoE mogą dorównywać gęstym modelom bazowym lub je przewyższać, wykorzystując podczas wnioskowania podobną liczbę aktywnych parametrów. • Trening jest bardziej złożony niż w modelach gęstych, ponieważ równoważenie obciążenia ekspertów i stabilność routera wymagają dodatkowych technik. • Ta sama architektura występuje w modelach otwartych i systemach własnościowych, co pokazuje, że przeszła z badań do produkcyjnych dużych modeli językowych.

Model Mixture of Experts zawiera zbiór podsieci ekspertów i funkcję bramkującą. Funkcja otrzymuje to samo wejście co eksperci i zwraca rozkład prawdopodobieństwa dla całej puli. Tylko k ekspertów z najwyższymi wynikami otrzymuje dane i wnosi wkład do wyniku. Pozostali są nieaktywni dla danego tokenu.

Podstawowe właściwości to modułowość, rzadkość i obliczenia warunkowe. Modułowość wynika z możliwości specjalizowania ekspertów w różnych wzorcach danych lub rodzajach zadań. Rzadkość oznacza niski udział parametrów aktywnych dla jednego tokenu. Obliczenia warunkowe sprawiają, że aktywny zestaw zmienia się przy każdym tokenie.

Właściwości te odróżniają MoE od gęstych Transformerów. W modelu gęstym każda waga uczestniczy w każdym przejściu w przód. W MoE większość wag pozostaje bezczynna dla danego tokenu. Rezultatem jest większa całkowita pojemność przy mniej więcej stałym koszcie obliczeń na token.

Architektura składa się z trzech warstw: routera, puli ekspertów i etapu łączenia wyników.

Router jest małą warstwą liniową lub płytkim perceptronem wielowarstwowym, który mapuje ukryty stan wejściowy na wektor ocen ekspertów. Funkcja softmax zmienia oceny w prawdopodobieństwa. Następnie system wybiera k najlepszych ekspertów według tych wartości. Typowo k wynosi 1 lub 2, nawet gdy całkowita liczba ekspertów sięga ośmiu albo więcej.

Każdy ekspert jest zwykle siecią jednokierunkową o strukturze identycznej z pozycyjną siecią FFN w standardowym bloku Transformera. Ponieważ eksperci są mniejsi niż jedna duża sieć FFN, model może utrzymywać wielu bez przekraczania budżetu pamięci podczas treningu. Specjalizacja pojawia się w trakcie uczenia, gdy różni eksperci otrzymują gradienty z różnych rozkładów danych.

Wyniki wybranych ekspertów są mnożone przez prawdopodobieństwa routera i sumowane. Powstaje w ten sposób końcowy wkład warstwy MoE. Pozostała część bloku Transformera, w tym mechanizm uwagi, nie zmienia się.

Rzadka aktywacja utrzymuje niską liczbę aktywnych parametrów. Model z ośmioma ekspertami, z których każdy odpowiada rozmiarem sieci FFN modelu 7B, przy k równym 1 nadal wykonuje obliczenia zbliżone do modelu 7B. Pozostali eksperci znajdują się w pamięci, lecz nie uczestniczą w mnożeniu macierzy dla tego tokenu.

Mixtral 8x7B ma ośmiu ekspertów na warstwę i aktywuje dwóch dla każdego tokenu. Liczba aktywnych parametrów podczas wnioskowania przypomina więc gęsty model 12–13B, choć łączna liczba przekracza 46 miliardów. W standardowych testach model przewyższa Llama 2 70B w kilku kategoriach, zużywając podczas generowania mniej przepustowości pamięci.

Według wielu doniesień GPT-4 wykorzystuje MoE z większą liczbą ekspertów i większą całkowitą liczbą parametrów. Publiczne szczegóły są ograniczone, ale połączenie wysokiej całkowitej pojemności z kontrolowanym kosztem wnioskowania odpowiada tej samej zasadzie. Inne systemy produkcyjne, takie jak Switch Transformer i GLaM firmy Google, stosują identyczną strukturę na jeszcze większą skalę.

Wspólnym wzorcem jest uczenie routera kierowania różnych typów tokenów do różnych ekspertów. Tokeny kodu mogą trafiać do jednego zestawu, a języka naturalnego do innego. Ta niejawna specjalizacja zwiększa efektywność wykorzystania próbek podczas treningu.

W otwartych modelach czatowych projekt obsługuje dłuższy kontekst przy rozsądnym koszcie. Użytkownicy mogą uruchamiać Mixtral 8x7B lokalnie lub na umiarkowanych procesorach graficznych w chmurze, ponieważ użycie aktywnej pamięci pozostaje zbliżone do gęstego modelu 13B. Firmy wdrażające wewnętrznych asystentów otrzymują wyższą jakość bez proporcjonalnego zwiększania infrastruktury.

Grupy badające prawa skalowania używają MoE, aby sprawdzić, czy wydajność nadal rośnie po przekroczeniu liczby parametrów, przy której trening gęsty staje się niepraktyczny. Prace nad Switch Transformerem pokazały, że model MoE z ponad bilionem parametrów można stabilnie trenować po dodaniu pomocniczych funkcji straty równoważących obciążenie.

Najczęstsze pytania o Mixture of Experts w AI.

Pytanie: jak MoE zmniejsza koszt wnioskowania w porównaniu z modelem gęstym o tym samym całkowitym rozmiarze?

Odpowiedź: mnożenia macierzy wykonują tylko wybrani eksperci. Koszt routera jest niewielki, a przepustowość pamięci zależy od aktywnych, nie wszystkich wag. W rezultacie szybkość generowania odpowiada rozmiarowi aktywnych ekspertów.

Pytanie: czy MoE wymaga specjalnego sprzętu?

Odpowiedź: wystarczają standardowe procesory graficzne. Wydajne wnioskowanie korzysta z jąder pomijających ekspertów o zerowym wkładzie, ale po załadowaniu wag sama architektura działa w istniejących środowiskach Transformerów.

Pytanie: czym trening różni się od treningu gęstego Transformera?

Odpowiedź: router musi być trenowany razem z ekspertami. Pomocnicze funkcje straty utrzymują równomierne wykorzystanie ekspertów. Bez nich niektórzy eksperci otrzymują prawie zero tokenów i nie uczą się użytecznych reprezentacji.

Pytanie: czy MoE można dostrajać tak jak model gęsty?

Odpowiedź: tak. Stosuje się te same procesy nadzorowanego dostrajania i optymalizacji preferencji. Dla każdego przykładu gradienty otrzymują tylko router i aktywni eksperci, co może nawet zmniejszyć zużycie pamięci podczas przejścia wstecznego.

Pytanie: co się stanie, jeśli router skieruje każdy token do tego samego eksperta?

Odpowiedź: ten ekspert otrzyma nieproporcjonalnie dużo gradientów, a pozostali nie zostaną wystarczająco wytrenowani. Podczas pretreningu dodaje się straty równoważące obciążenie i losowe zaburzenia routera, aby zapobiegać skupieniu na jednym ekspercie.

Praktyczny sprawdzian polega na ustaleniu, czy to podejście usprawnia powtarzalny fragment pracy, nie ukrywając źródeł, kosztów ani możliwych awarii. Zacznij od reprezentatywnego zadania, pozostaw kontrolę człowieka tam, gdzie błędy mają znaczenie, i oceniaj wyniki ponownie wraz ze zmianami modeli i produktów.

Przeglądaj katalog narzędzi →