- Costes computacionales. El aprendizaje por transferencia reduce los costes computacionales necesarios para construir modelos para nuevos problemas. Al reutilizar modelos previamente entrenados o redes preentrenadas para abordar una tarea diferente, los usuarios pueden reducir la cantidad de tiempo de entrenamiento del modelo, los datos de entrenamiento, las unidades de procesador y otros recursos informáticos. Por ejemplo, puede ser necesario un menor número de épocas, es decir, de pasadas por un conjunto de datos, para alcanzar la tasa de aprendizaje deseada. De esta manera, el aprendizaje por transferencia puede acelerar y simplificar los procesos de formación de modelos.

- Tamaño del conjunto de datos. En particular, el aprendizaje por transferencia ayuda a aliviar las dificultades que entraña la adquisición de grandes conjuntos de datos. Por ejemplo, los modelos de lenguaje de gran tamaño (LLM) requieren grandes cantidades de datos de entrenamiento para obtener un rendimiento óptimo. Los conjuntos de datos de calidad disponibles públicamente pueden ser limitados, y producir suficientes datos etiquetados manualmente puede llevar mucho tiempo y resultar caro.

- Generalización. Aunque la transferencia de aprendizaje ayuda a la optimización del modelo, puede aumentar aún más la generalización de un modelo. Dado que el aprendizaje por transferencia implica volver a entrenar un modelo existente con un nuevo conjunto de datos, el modelo reentrenado constará de conocimientos obtenidos de varios conjuntos de datos. Este modelo mostrará potencialmente un mejor rendimiento en una mayor variedad de datos que el modelo base inicial entrenado en un solo tipo de conjunto de datos. De esta manera, el aprendizaje por transferencia puede inhibir el sobreajuste.⁴

Por supuesto, la transferencia de conocimientos de un dominio a otro no puede compensar el impacto negativo de los datos de mala calidad. Las técnicas de preprocesamiento y la ingeniería de características, como el aumento de datos y la extracción de características, siguen siendo necesarias cuando se utiliza el aprendizaje por transferencia.

No se trata tanto de que haya desventajas inherentes al aprendizaje por transferencia como de que existan posibles consecuencias negativas derivadas de su aplicación incorrecta. El aprendizaje por transferencia funciona mejor cuando se cumplen tres condiciones:

• ambas tareas de aprendizaje son similares
• las distribuciones de datos de los conjuntos de datos de origen y destino no varían demasiado
• se puede aplicar un modelo comparable a ambas tareas

Cuando no se cumplen estas condiciones, el aprendizaje por transferencia puede afectar negativamente al rendimiento del modelo. En la literatura se habla de transferencia negativa. La investigación en curso propone una variedad de pruebas para determinar si los conjuntos de datos y las tareas cumplen con las condiciones anteriores y, por lo tanto, no resultarán en una transferencia negativa.⁵ La transferencia a distancia es un método desarrollado para corregir la transferencia negativa que resulta de una disimilitud demasiado grande en las distribuciones de datos de los conjuntos de datos de origen y destino.⁶

Tenga en cuenta que no existe una métrica estándar generalizada para determinar la similitud entre las tareas para el aprendizaje por transferencia. Sin embargo, algunos estudios proponen diferentes métodos de evaluación para predecir las similitudes entre los conjuntos de datos y las tareas de machine learning, por lo que la viabilidad del aprendizaje por transferencia es limitada.⁷

Hay tres prácticas o subentornos adyacentes del aprendizaje por transferencia. Su distinción entre sí, así como el aprendizaje de transferencia en general, se deben en gran medida a cambios en la relación entre el dominio de origen, el dominio de destino y las tareas que completar.⁸

- Transferencia inductiva. Esto es cuando las tareas de origen y destino son diferentes, independientemente de cualquier diferencia o similitud entre los dominios de destino y de origen (es decir, conjuntos de datos). Esto puede manifestarse en modelos de visión por ordenador cuando las arquitecturas preentrenadas para la extracción de entidades en conjuntos de datos grandes se adoptan para una formación adicional sobre una tarea específica, como la detección de objetos. El aprendizaje multitarea, que consiste en aprender simultáneamente dos tareas diferentes (como la clasificación de imágenes y la detección de objetos) en el mismo conjunto de datos, se puede considerar una forma de transferencia inductiva.⁹

- Aprendizaje no supervisado. Esto es similar a la transferencia inductiva, ya que las tareas de destino y de origen son diferentes. Pero en la transferencia inductiva, los datos de origen y/o destino a menudo se etiquetan. Como indica su nombre, el aprendizaje por transferencia no supervisado no es supervisado, lo que significa que no hay datos etiquetados manualmente.¹⁰ En comparación, la transferencia inductiva puede considerarse aprendizaje supervisado. Una aplicación común del aprendizaje no supervisado es la detección de fraudes. Al identificar patrones comunes en un conjunto de datos de transacciones sin etiquetar, un modelo puede aprender a identificar comportamientos desviados como posibles fraudes.

- Transferencia transductiva. Esto ocurre cuando las tareas de origen y destino son las mismas, pero los conjuntos de datos (o dominios) son diferentes. Más concretamente, los datos de origen suelen estar etiquetados, mientras que los datos de destino no lo están. La adaptación al dominio es una forma de aprendizaje transductivo, ya que aplica los conocimientos adquiridos al realizar una tarea en una distribución de datos hacia la misma tarea en otra distribución de datos.¹¹ Un ejemplo de aprendizaje por transferencia transductiva es la aplicación de un modelo de clasificación de textos entrenado y probado con reseñas de restaurantes para clasificar reseñas de películas.

El aprendizaje por transferencia es distinto del ajuste fino. Es cierto que ambos reutilizan modelos de machine learning preexistentes en lugar de entrenar nuevos modelos. Pero las similitudes terminan en gran medida ahí. El ajuste fino se refiere al proceso de entrenamiento adicional de un modelo en un conjunto de datos de una tarea específica para mejorar el rendimiento en la tarea inicial específica para la que se construyó el modelo. Por ejemplo, se puede crear un modelo de detección de objetos de propósito general utilizando conjuntos de imágenes masivos como COCO o ImageNet y, a continuación, entrenar el modelo resultante en un conjunto de datos más pequeño y etiquetado específico para la detección de coches. De esta manera, un usuario ajusta un modelo de detección de objetos para la detección de automóviles. Por el contrario, el aprendizaje por transferencia significa que los usuarios adaptan un modelo a un nuevo problema relacionado y no al mismo problema.