El aprendizaje por transferencia parte de un modelo entrenado en una tarea o conjunto de datos y lo adapta a otra tarea. En lugar de aprender todas las características desde pesos aleatorios, se reutiliza una representación preentrenada. Puede ser útil cuando hay pocos ejemplos etiquetados, pero el beneficio depende de la relación entre las tareas de origen y destino. No existe una reducción fija de datos aplicable a todos los proyectos.
Dos enfoques habituales. En la extracción de características se congela la red base preentrenada y se entrena una nueva capa de salida con datos del objetivo. En el ajuste fino primero se establece una capa de salida funcional y después se actualizan también algunas capas preentrenadas. El tutorial de imágenes de TensorFlow muestra esta secuencia y advierte que actualizar de inmediato toda la base junto con una capa nueva inicializada al azar puede perjudicar características útiles. PyTorch compara ambos métodos en un conjunto pequeño de imágenes. Los modelos de lenguaje también reutilizan pesos preentrenados, aunque su estructura y entrenamiento son distintos.
Cómo evaluar el resultado. Define la tarea y reserva un conjunto de prueba antes de elegir el modelo. Con la misma partición de datos compara una referencia sencilla, la extracción con la base congelada y un ajuste fino cuidadoso. Mide calidad, coste de entrenamiento e inferencia y tipos de error. Si los datos objetivo difieren mucho de los de preentrenamiento, comprueba si las características transferidas ayudan o perjudican. Un resultado de un tutorial no promete mejoras en imágenes médicas, cámaras industriales o documentos jurídicos.
Cuándo puede fallar. La transferencia negativa ocurre cuando lo aprendido en la tarea de origen empeora el rendimiento en la tarea objetivo. Pueden influir un cambio de dominio, etiquetas incompatibles, preprocesamiento inadecuado, sobreajuste con pocos datos o un ajuste fino agresivo. Conserva datos de validación y no juzgues el éxito solo por la precisión de entrenamiento.
¿Cuántos datos etiquetados ahorra? No hay una cifra universal de diez o cien veces. Depende del modelo original, la similitud de tareas, la calidad exigida y el método de evaluación. Traza una curva de aprendizaje con tus propios datos objetivo para estimar el beneficio.
Fuentes: tutorial de TensorFlow, tutorial de PyTorch, guía de Hugging Face, estudio de transferencia negativa.