Bagging, también conocido como Bootstrapping, es el método de aprendizaje por conjuntos que se emplea comúnmente para reducir la varianza dentro de un conjunto de datos ruidoso.
En el bagging, se selecciona una muestra aleatoria de datos en un conjunto de entrenamiento con reemplazo, lo que significa que los puntos de datos individuales se pueden elegir más de una vez. Después de generar varias muestras de datos, estos modelos débiles se entrenan de manera independiente. Dependiendo del tipo de tarea (regresión o clasificación, por ejemplo), el promedio o la mayoría de esas predicciones arrojan una estimación más precisa.
Nótese que el algoritmo de bosque aleatorio se considera una extensión del método bagging, que emplea tanto el bagging como la aleatoriedad de características para crear un bosque de decision trees no correlacionados.
El aprendizaje conjunto da crédito a la idea de la "sabiduría de las multitudes", que sugiere que la toma de decisiones de un grupo más amplio de personas suele ser mejor que la de un experto individual. Del mismo modo, el aprendizaje conjunto se refiere a un grupo de aprendices base, o modelos, que trabajan colectivamente para lograr una mejor predicción final.
Un modelo único, también conocido como modelo básico o de aprendizaje débil, puede no funcionar bien individualmente debido al alta varianza o al alto sesgo. Sin embargo, cuando se agregan aprendices débiles, pueden formar un aprendiz fuerte, ya que su combinación reduce el sesgo o la varianza, lo que produce un mejor rendimiento del modelo.
Los métodos de conjunto suelen emplear decision trees a modo de ilustración. Este algoritmo puede ser propenso al sobreajuste, mostrando una alta varianza y un sesgo bajo, cuando no se podó. Por el contrario, también puede prestarse a un ajuste insuficiente, con baja varianza y alto sesgo, cuando es muy pequeño, como un muñón de decisión, que es un decision tree de un nivel.
Recuerde que cuando un algoritmo se ajusta en exceso o en defecto a su conjunto de entrenamiento, no puede generalizar bien nuevos conjuntos de datos, por lo que los métodos de conjunto se emplean para contrarrestar este comportamiento y permitir la generalización del modelo a nuevos conjuntos de datos. Aunque los decision trees pueden presentar una varianza o un sesgo elevados, cabe señalar que no es la única técnica de modelado que aprovecha el aprendizaje por conjuntos para encontrar el "punto óptimo" dentro del equilibrio entre sesgo y varianza.
El bagging y el boosting son dos tipos principales de métodos de aprendizaje por conjuntos. Como se destaca en este estudio (el enlace se encuentra fuera de ibm.com), la principal diferencia entre estos métodos de aprendizaje es cómo se capacitan.
En bagging, los aprendices débiles se capacitan en paralelo, pero en boosting, aprenden secuencialmente. Esto significa que se construye una serie de modelos y con cada nueva iteración del modelo, se incrementan los pesos de los datos mal clasificados en el modelo anterior.
Esta redistribución de pesos ayuda al algoritmo a identificar los parámetros en los que debe centrarse para mejorar su rendimiento. AdaBoost, que significa “algoritmo de refuerzo adaptativo”, es uno de los algoritmos de refuerzo más populares, ya que fue uno de los primeros de su tipo. Otros tipos de algoritmos de impulso incluyen XGBoost, GradientBoost y BrownBoost.
Otra diferencia en la que se diferencian el bagging y el boosting son los escenarios en los que se utilizan. Por ejemplo, los métodos de bagging se utilizan típicamente para aprendices débiles que exhiben alta varianza y sesgo bajo, mientras que los métodos de boosting se utilizan cuando se observa baja varianza y sesgo alto.
Conecte e integre sus sistemas para preparar su infraestructura para la IA.
Regístrese para obtener la guía sobre modernización de aplicaciones
En 1996, Leo Breiman (el enlace se encuentra fuera de ibm.com) introdujo el algoritmo de bagging, que consta de tres pasos básicos:
- Bootstrapping: el bagging aprovecha una técnica de ejemplificación de bootstrapping para crear muestras diversas. Este método de remuestreo genera diferentes subconjuntos de los datos de entrenamiento. Lo hace seleccionando puntos de datos al azar y con reemplazo. Esto significa que cada vez que selecciona un punto de datos del conjunto de datos de entrenamiento, puede seleccionar la misma instancia varias veces. Como resultado, un valor o instancia se repite dos veces (o más) en una muestra.
- Entrenamiento paralelo: estas muestras de bootstrapping se capacitan de forma independiente y en paralelo entre sí por medio de empleando aprendices débiles o básicos.
- Agregación: Finalmente, dependiendo de la tarea (es decir, regression o clasificación), se toma un promedio o la mayoría de las predicciones para realizar una estimación más precisa. En el caso de la regression, se toma un promedio de todos los resultados predichos por los clasificadores individuales; esto se conoce como votación blanda. Para problemas de clasificación, se acepta la clase con la mayoría de votos; esto se conoce como voto duro o voto mayoritario.
Hay varios beneficios y retos clave que presenta el método bagging cuando se emplea para problemas de clasificación o regression. Los principales beneficios del bagging son:
- Facilidad de implementación: lasbibliotecas de Python, como scikit-learn (también conocida como sklearn), facilitan la combinación de predicciones de aprendices básicos o estimadores para mejorar el rendimiento del modelo. Su documentación (el enlace se encuentra fuera de ibm.com) establece los módulos disponibles que puede emplear en la optimización de su modelo.
- Reducción de la varianza: el bagging puede reducir la varianza dentro de un algoritmo de aprendizaje. Esto es particularmente útil con datos de alta dimensión, ya que los missing values pueden generar una mayor varianza, haciéndolos más propensos al sobreajuste y evitando una generalización precisa a nuevos conjuntos de datos.
Los desafíos clave del bagging incluyen:
- Pérdida de interpretabilidad: es difícil extraer información empresarial muy precisa a través del bagging debido al promedio involucrado en las predicciones. Si bien la salida es más precisa que cualquier punto de datos individual, un conjunto de datos más preciso o completo también podría producir más precisión dentro de un solo modelo de clasificación o regression.
- Computacionalmente costoso: el bagging se ralentiza y se vuelve más intensivo a medida que aumenta el número de iteraciones. Por lo tanto, no es adecuado para aplicaciones en tiempo real. Los sistemas en clúster o una gran cantidad de núcleos de procesamiento son ideales para crear rápidamente conjuntos empaquetados en grandes conjuntos de prueba.
- Menos flexible: Como técnica, el bagging funciona particularmente bien con algoritmos que son menos estables. Una que sea más estable o esté sujeta a grandes cantidades de sesgo no proporciona tanto beneficio ya que hay menos variación dentro del conjunto de datos del modelo. Como se señala en la Guía práctica para el aprendizaje automático (el enlace se encuentra fuera de ibm.com), "bagging un modelo de regresión lineal solo devolverá las predicciones originales para b lo suficientemente grande".
La técnica de bagging se emplea en muchas industrias, ya que ofrece insights tanto para el valor del mundo real como para perspectivas interesantes, como en los GRAMMY Debates with Watson. Los casos de uso clave incluyen:
- Sanidad: El bagging se empleó para formar predicciones de datos médicos. Por ejemplo, la investigación (el enlace se encuentra fuera de ibm.com) muestra que los métodos de conjunto se emplearon para una serie de problemas bioinformáticos, como la selección de genes o proteínas para identificar un rasgo específico de interés. Más específicamente, esta investigación (el enlace se encuentra fuera ibm.com) profundiza en su uso para predecir la aparición de diabetes en función de varios predictores de riesgo.
- TI: El bagging también puede mejorar la precisión y exactitud en los sistemas de TI, como por ejemplo los sistemas de detección de intrusiones en la red. Mientras tanto, esta investigación (el enlace se encuentra fuera de ibm.com) analiza cómo el bagging puede mejorar la precisión de la detección de intrusiones en la red y reducir las tasas de falsos positivos.
- Medio ambiente: Dentro del campo de la teledetección se han aplicado métodos de ensamble, como bagging. Más específicamente, esta investigación (el enlace se encuentra fuera de ibm.com) muestra cómo se ha utilizado para mapear los tipos de humedales dentro de un paisaje costero.
- Finanzas: el bagging también se empleó con modelos de aprendizaje profundo en la industria financiera, automatizando tareas críticas, incluida la detección de fraudes, evaluaciones de riesgo crediticio y problemas de precios de opciones. Esta investigación (el enlace se encuentra fuera de ibm.com) demuestra cómo se aprovechó el bagging, entre otras técnicas de aprendizaje automático, para evaluar el riesgo de impago de préstamos. Este estudio (el enlace se encuentra fuera de ibm.com) destaca cómo el bagging ayuda a minimizar el riesgo al prevenir el fraude con tarjetas de crédito dentro de las instituciones bancarias y financieras.
Emplee el analytics predictivo para ayudar a descubrir patrones de datos, obtener precisión predictiva y mejorar la toma de decisiones.
Cree y amplíe la IA de confianza en cualquier nube. Automatice el ciclo de vida de la IA para ModelOps.