Che cos'è la miscela di esperti (MoE)? L'architettura alla base dei moderni LLM è più facile da usare quando il concetto viene collegato a una decisione reale, anziché trattato come l'ennesima parola d'ordine dell'IA. Questa guida di AI Tools Radar si concentra sull'idea operativa, sui compromessi che contano e sulle domande da porsi prima di adottare uno strumento o un flusso di lavoro.
L'IA a miscela di esperti (MoE) è un'architettura di rete neurale che ripartisce il calcolo fra più sottoreti specializzate, dette esperti. Una rete di gating leggera seleziona quali esperti elaborano ciascun token di input. In ogni momento se ne attiva solo un piccolo sottoinsieme. Questo instradamento selettivo distingue la MoE dai modelli densi tradizionali, che usano ogni parametro per ogni token.
Il progetto ha acquisito popolarità perché permette al numero totale di parametri di raggiungere centinaia di miliardi, mantenendo un costo di inferenza paragonabile a quello di modelli molto più piccoli. Mixtral 8x7B e varie versioni di GPT-4 adottano questo schema. Comprenderne i meccanismi aiuta a valutare le affermazioni su scala ed efficienza dei modelli.
Punti chiave. • L'IA a miscela di esperti (MoE) sostituisce una singola grande rete feed-forward con molte reti esperte più piccole e un router che seleziona il sottoinsieme giusto. • L'attivazione sparsa implica che solo un numero fisso di esperti elabori ogni token, quindi il calcolo per token resta approssimativamente costante anche quando aumentano i parametri totali. • Modelli come Mixtral 8x7B dimostrano che le versioni MoE possono eguagliare o superare le basi dense nei benchmark, pur usando un numero simile di parametri attivi durante l'inferenza. • L'addestramento resta più complesso di quello denso, poiché il bilanciamento del carico fra esperti e la stabilità del router richiedono tecniche aggiuntive. • La stessa architettura compare sia in modelli aperti sia in sistemi proprietari, a conferma del passaggio dalla ricerca ai modelli linguistici di grandi dimensioni in produzione.
Un modello a miscela di esperti contiene un insieme di sottoreti esperte e una funzione di gating. La funzione di gating riceve lo stesso input degli esperti e produce una distribuzione di probabilità sul gruppo di esperti. Solo i primi k esperti con i punteggi più alti ricevono l'input e contribuiscono all'output. Tutti gli altri restano inattivi per quel token.
Le proprietà principali sono modularità, sparsità e calcolo condizionale. La modularità deriva dal fatto che ogni esperto può specializzarsi su diversi schemi di dati o tipi di compito. La sparsità deriva dalla bassa frazione di parametri attivi per token. Il calcolo condizionale deriva dal cambiamento dell'insieme attivo a ogni token.
Queste proprietà distinguono i modelli MoE dai Transformer densi. In un modello denso ogni peso partecipa a ogni passaggio in avanti. In un modello MoE, la maggior parte dei pesi resta inattiva per un dato token. Il risultato è una capacità totale più alta con un calcolo per token pressoché costante.
L'architettura si scompone in tre livelli: il router, il gruppo di esperti e la fase di combinazione dell'output.
Il router è un piccolo livello lineare o un MLP poco profondo che mappa lo stato nascosto di input in un vettore di punteggi per gli esperti. Una softmax converte i punteggi in probabilità. Il sistema seleziona poi i primi k esperti in base a tali probabilità. Valori tipici di k sono 1 o 2, anche quando il numero totale di esperti raggiunge otto o più.
Ogni esperto è di solito una rete feed-forward identica per struttura alla FFN per posizione all'interno di un blocco Transformer standard. Poiché gli esperti sono più piccoli di una singola grande FFN, il modello può mantenerne molti senza superare i budget di memoria durante l'addestramento. La specializzazione emerge mentre esperti diversi ricevono gradienti da distribuzioni di dati differenti.
Gli output degli esperti selezionati vengono moltiplicati per le rispettive probabilità del router e sommati. Ciò produce il contributo finale del livello MoE. Il resto del blocco Transformer, inclusa l'attenzione, resta invariato.
L'attivazione sparsa mantiene basso il numero di parametri attivi. Un modello con 8 esperti, ciascuno delle dimensioni di una FFN da 7 miliardi di parametri, attiva comunque un calcolo approssimativamente pari a quello di un modello da 7 miliardi quando k è uguale a 1. Gli esperti rimanenti restano in memoria, ma non partecipano alle moltiplicazioni matriciali per quel token.
Mixtral 8x7B contiene otto esperti per livello e ne attiva due per token. Il numero di parametri attivi durante l'inferenza è quindi simile a quello di un modello denso da 12-13 miliardi, mentre i parametri totali superano i 46 miliardi. Nei benchmark standard il modello supera Llama 2 70B in varie categorie, pur utilizzando meno larghezza di banda della memoria in fase di generazione.
Secondo quanto ampiamente riportato, GPT-4 usa un progetto MoE con un numero maggiore di esperti e più parametri totali. I dettagli pubblici restano limitati, ma lo schema di alta capacità totale abbinata a un costo di inferenza controllato segue lo stesso principio. Altri sistemi in produzione, come Switch Transformer e GLaM di Google, seguono una struttura identica su scala ancora maggiore.
Lo schema condiviso da questi modelli è che il router impara a inviare diversi tipi di token a esperti diversi. I token di codice possono essere instradati a un insieme di esperti, mentre i token in linguaggio naturale vanno altrove. Questa specializzazione implicita migliora l'efficienza dei campioni durante l'addestramento.
Nei modelli chat a pesi aperti, il progetto supporta contesti più lunghi a costi gestibili. Gli utenti possono eseguire Mixtral 8x7B in locale o su GPU cloud modeste, perché l'uso attivo di memoria rimane vicino a quello di un modello denso da 13 miliardi. Le aziende che distribuiscono assistenti interni ottengono una qualità dell'output più elevata senza aumenti proporzionali dell'hardware di servizio.
I gruppi di ricerca che studiano le leggi di scala usano la MoE per verificare se le prestazioni continuino a migliorare una volta che i parametri totali superano il punto in cui l'addestramento denso diventa impraticabile. Gli articoli su Switch Transformer hanno mostrato che un modello MoE con oltre mille miliardi di parametri poteva essere addestrato stabilmente se combinato con perdite ausiliarie di bilanciamento del carico.
Domande comuni sull'IA a miscela di esperti (MoE).
D: In che modo l'IA a miscela di esperti (MoE) riduce il costo di inferenza rispetto a un modello denso della stessa dimensione totale?
R: Solo gli esperti selezionati eseguono moltiplicazioni matriciali. Il costo del router è ridotto e la larghezza di banda della memoria è determinata dai pesi attivi, non da quelli totali. Di conseguenza, la velocità di generazione segue la dimensione degli esperti attivi.
D: L'IA a miscela di esperti (MoE) richiede hardware speciale?
R: Sono sufficienti GPU standard. Un'inferenza efficiente trae comunque vantaggio da kernel che saltano gli esperti con contributo nullo, ma l'architettura in sé funziona sui runtime Transformer esistenti una volta caricati i pesi del modello.
D: In cosa differisce l'addestramento da quello di un Transformer denso?
R: Il router deve essere addestrato insieme agli esperti. Le perdite ausiliarie mantengono bilanciato l'utilizzo degli esperti. Senza questi termini, alcuni esperti ricevono quasi nessun token e non imparano mai rappresentazioni utili.
D: L'IA a miscela di esperti (MoE) può essere sottoposta a fine-tuning come un modello denso?
R: Sì. Si applicano le stesse pipeline di fine-tuning supervisionato e ottimizzazione delle preferenze. Su ogni esempio ricevono gradienti solo il router e gli esperti attivi, il che può persino ridurre l'uso di memoria nel passaggio all'indietro.
D: Cosa accade se il router invia ogni token allo stesso esperto?
R: Quell'esperto riceve gradienti sproporzionati mentre gli altri restano poco addestrati. Durante il preaddestramento si aggiungono perdite di bilanciamento del carico e jitter del router per scoraggiare il collasso su un singolo esperto.
Il test pratico è capire se questo approccio migliora una parte ripetibile del lavoro senza nasconderne fonti, costi o modalità di errore. Parti da un compito rappresentativo, mantieni un controllo umano dove gli errori contano e rivaluta il risultato man mano che modelli e prodotti cambiano.
Uniamo fonti primarie, documentazione dei prodotti e scenari d'uso reali per aiutarti a capire se uno strumento è adatto al tuo flusso di lavoro.