Czym jest uczenie transferowe i jak AI ponownie wykorzystuje wiedzę w różnych dziedzinach? Pojęcie to łatwiej zastosować, gdy powiążemy je z konkretną decyzją, zamiast traktować jak kolejne modne hasło dotyczące AI. Ten przewodnik AI Tools Radar omawia zasadę działania, istotne kompromisy oraz pytania, które warto zadać przed wdrożeniem narzędzia lub procesu.
Uczenie transferowe to metoda uczenia maszynowego, która bierze model już wytrenowany na dużym zbiorze danych i dostosowuje go do nowego, powiązanego zadania przy użyciu znacznie mniejszej ilości danych. Technika wykorzystuje wzorce poznane wcześniej przez model, zamiast zaczynać od losowych wag.
Podejście to jest dziś istotne, ponieważ trenowanie dużych modeli od podstaw stało się kosztowne. Badacze i inżynierowie szukają sposobów na ponowne wykorzystanie wykonanej pracy, a uczenie transferowe zapewnia bezpośrednią drogę. Badania opisywane przez MIT Technology Review pokazują, że dostosowanie modeli wstępnie wytrenowanych ogranicza zarówno czas obliczeń, jak i zapotrzebowanie na oznaczone dane w wielu dziedzinach.
W uczeniu transferowym model najpierw trenuje się na jednym zadaniu, zapisuje wyuczone parametry, a następnie wykorzystuje je jako punkt wyjścia dla drugiego zadania. Zadanie źródłowe zwykle dysponuje dużą ilością danych, natomiast docelowe — znacznie mniejszą.
Trzy podstawowe cechy odróżniają uczenie transferowe od standardowego treningu. Po pierwsze, zadania źródłowe i docelowe mają wspólną strukturę, na przykład cechy wizualne lub wzorce językowe. Po drugie, model zachowuje większość wcześniejszych parametrów, zamiast je zerować. Po trzecie, proces wymaga mniej oznaczonych przykładów z dziedziny docelowej, ponieważ model zna już użyteczne reprezentacje.
Proces składa się z czterech głównych etapów. Każdy opiera się na poprzednim i przenosi wiedzę z dziedziny źródłowej do docelowej.
Etap 1: Trening wstępny na zadaniu źródłowym. Duży model trenuje na szerokim zbiorze, takim jak ImageNet w analizie obrazu lub korpus tekstowy w przetwarzaniu języka. Celem jest poznanie ogólnych cech występujących w wielu przykładach. Ten etap pochłania najwięcej mocy obliczeniowej.
Etap 2: Ekstrakcja cech. Po treningu wstępnym model zawiera warstwy wykrywające krawędzie, tekstury lub relacje między słowami. Warstwy te zostają zamrożone albo są aktualizowane tylko w niewielkim stopniu. Wyodrębnione cechy stają się danymi wejściowymi dla zadania docelowego.
Etap 3: Dostrajanie. Mniejsza głowica lub kilka górnych warstw jest aktualizowanych na zbiorze docelowym. Współczynnik uczenia pozostaje niski, aby nie zniszczyć użytecznej wiedzy źródłowej. Proces zwykle osiąga zbieżność w znacznie mniejszej liczbie epok niż trening od podstaw.
Etap 4: Ocena i korekta. Dostosowany model jest uruchamiany na odłożonych danych docelowych. Jeśli wyniki są słabe, inżynierowie mogą odblokować więcej warstw albo dodać dane specyficzne dla dziedziny. Artykuł opublikowany w 2019 roku w Nature Machine Intelligence wykazał, że staranny dobór warstw zapobiega transferowi negatywnemu, gdy zadania zbyt mocno się różnią.
Zespoły zajmujące się widzeniem komputerowym wykorzystują uczenie transferowe do klasyfikowania obrazów medycznych, zaczynając od wag ImageNet. Wstępnie wytrenowany model rozpoznaje już kształty i tekstury, dlatego medyczny zbiór może zawierać setki przykładów zamiast dziesiątek tysięcy.
Zespoły przetwarzania języka naturalnego dostrajają BERT na tekstach prawnych lub finansowych. Model zachowuje ogólne rozumienie języka z pierwotnego treningu, a następnie poznaje słownictwo danej dziedziny na umiarkowanej ilości dodatkowych danych.
Systemy rozpoznawania mowy dostosowują modele wytrenowane na anglojęzycznych podcastach do nowych akcentów lub języków. Wcześniej poznane cechy akustyczne zmniejszają liczbę godzin transkrybowanych nagrań potrzebnych w nowym środowisku.
Badacze robotyki przenoszą umiejętności nawigacji wizualnej między robotami o różnych konstrukcjach. Warstwy percepcyjne pozostają podobne, podczas gdy warstwy sterowania dostosowują się do nowego sprzętu.
Najczęstsze pytania o uczenie transferowe w AI.
P: Czy uczenie transferowe jest tym samym co dostrajanie?
O: Uczenie transferowe opisuje całą strategię ponownego wykorzystania wstępnie wytrenowanego modelu. Dostrajanie jest jednym z jej etapów, podczas którego model otrzymuje aktualizacje na zadaniu docelowym.
P: Czy uczenie transferowe zawsze poprawia wyniki?
O: Nie. Gdy zadania źródłowe i docelowe znacznie się różnią, wydajność może spaść. Taki transfer negatywny pojawia się na przykład wtedy, gdy cechy wizualne poznane na naturalnych fotografiach obniżają dokładność analizy obrazów mikroskopowych.
P: Ile danych nadal potrzebuje zadanie docelowe?
O: Ilość jest różna, ale w większości opisanych przypadków wystarcza od 10 do 100 razy mniej oznaczonych danych niż przy treningu od podstaw. Dokładna liczba zależy od podobieństwa zadań i wielkości modelu.
P: Czy uczenie transferowe działa także z małymi modelami?
O: Tak. Mniejsze modele wstępnie wytrenowane na ImageNet lub podobnych zbiorach również dostarczają użytecznych cech. Korzyści są mniejsze niż w przypadku dużych modeli, lecz metoda pozostaje praktyczna na urządzeniach brzegowych.
P: Co się dzieje, gdy nowa dziedzina z czasem się zmienia?
O: Modele mogą doświadczać katastroficznego zapominania. Regularne ponowne odtwarzanie starszych przykładów lub stopniowe odblokowywanie warstw pomaga zachować wcześniejszą skuteczność przy jednoczesnym przyswajaniu nowych wzorców.
Praktycznym sprawdzianem jest to, czy podejście usprawnia powtarzalny element pracy bez ukrywania źródeł, kosztów ani możliwych awarii. Zacznij od reprezentatywnego zadania, zachowaj punkt kontroli człowieka tam, gdzie błędy mają znaczenie, i ponownie oceniaj rezultat wraz ze zmianami modeli oraz produktów.
Łączymy źródła pierwotne, dokumentację produktów i rzeczywiste scenariusze użycia, aby ułatwić Ci ocenę, czy dane narzędzie pasuje do Twojego sposobu pracy.