Una de las técnicas de aprendizaje automático más poderosas es el aprendizaje por conjuntos. El aprendizaje conjunto es el uso de múltiples modelos de aprendizaje automático para mejorar la confiabilidad y precisión de las predicciones. Sin embargo, ¿cómo conduce el uso de múltiples modelos de aprendizaje automático a predicciones más precisas? ¿Qué tipo de técnicas se utilizan para crear modelos de aprendizaje por conjuntos? Exploraremos la respuesta a estas preguntas, analizando la lógica detrás del uso de modelos de conjuntos y las formas principales de crear modelos de conjuntos.
¿Qué es el aprendizaje conjunto?
En pocas palabras, el aprendizaje por conjuntos es el proceso de entrenar múltiples modelos de aprendizaje automático y combinar sus resultados. Los diferentes modelos se utilizan como base para crear un modelo predictivo óptimo. La combinación de un conjunto diverso de modelos de aprendizaje automático individuales puede mejorar la estabilidad del modelo general y generar predicciones más precisas. Los modelos de aprendizaje por conjuntos suelen ser más fiables que los modelos individuales y, como resultado, suelen ocupar el primer lugar en muchas competencias de aprendizaje automático.
Hay diferentes técnicas que un ingeniero puede usar para crear un modelo de aprendizaje por conjuntos. Las técnicas simples de aprendizaje por conjuntos incluyen cosas como promediar los resultados de diferentes modelos, mientras que también existen métodos y algoritmos más complejos desarrollados especialmente para combinar las predicciones de muchos modelos / aprendices básicos juntos.
¿Por qué utilizar métodos de formación por conjuntos?
Los modelos de aprendizaje automático pueden ser diferentes entre sí por varias razones. Diferentes modelos de aprendizaje automático pueden operar en diferentes muestras de datos de población, se pueden usar diferentes técnicas de modelado y se puede usar una hipótesis diferente.
Imagina que estás jugando un juego de preguntas y respuestas con un gran grupo de personas. Si está solo en un equipo, es probable que haya algunos temas sobre los que tenga conocimiento y muchos temas de los que no tenga conocimiento. Ahora suponga que está jugando en un equipo con otras personas. Al igual que usted, tendrán algunos conocimientos sobre sus propias especialidades y ningún conocimiento de otros temas. Sin embargo, cuando se combina su conocimiento, tiene conjeturas más precisas para más campos, y la cantidad de temas que su equipo carece de conocimiento se reduce. Este es el mismo principio que subyace al aprendizaje conjunto, combinando las predicciones de diferentes miembros del equipo (modelos individuales) para mejorar la precisión y minimizar los errores.
Los estadísticos han demostrado que cuando se le pide a una multitud de personas que adivine la respuesta correcta para una pregunta dada con un rango de respuestas posibles, todas sus respuestas forman una distribución de probabilidad. Las personas que realmente conocen la respuesta correcta elegirán la respuesta correcta con confianza, mientras que las personas que eligen las respuestas incorrectas distribuirán sus conjeturas en el rango de posibles respuestas incorrectas. Volviendo al ejemplo de un juego de preguntas y respuestas, si usted y sus dos amigos saben que la respuesta correcta es A, los tres votarán A, mientras que las otras tres personas de su equipo que no conocen la respuesta probablemente lo hagan incorrectamente. adivine B, C, D o E. El resultado es que A tiene tres votos y es probable que las otras respuestas solo tengan uno o dos votos como máximo.
Todos los modelos tienen cierto grado de error. Los errores de un modelo serán diferentes de los errores producidos por otro modelo, ya que los modelos en sí son diferentes por las razones descritas anteriormente. Cuando se examinan todos los errores, no se agruparán en torno a una respuesta u otra, sino que estarán dispersos. Las suposiciones incorrectas se reparten esencialmente entre todas las posibles respuestas incorrectas, anulándose entre sí. Mientras tanto, las suposiciones correctas de los diferentes modelos se agruparán en torno a la respuesta verdadera y correcta. Cuando se utilizan métodos de formación por conjuntos, se puede encontrar la respuesta correcta con mayor fiabilidad .
Métodos simples de entrenamiento de conjuntos
Los métodos de entrenamiento de conjuntos simples generalmente solo implican la aplicación de técnicas de resumen estadístico , como la determinación de la moda, la media o el promedio ponderado de un conjunto de predicciones.
El modo se refiere al elemento que ocurre con más frecuencia dentro de un conjunto de números. Para obtener el modo, los modelos de aprendizaje individuales devuelven sus predicciones y estas predicciones se consideran votos hacia la predicción final. La determinación de la media de las predicciones se realiza simplemente calculando la media aritmética de las predicciones, redondeada al entero entero más cercano. Finalmente, se puede calcular un promedio ponderado asignando diferentes ponderaciones a los modelos utilizados para crear predicciones, y las ponderaciones representan la importancia percibida de ese modelo. La representación numérica de la predicción de clase se multiplica junto con una ponderación de 0 a 1.0, las predicciones ponderadas individuales se suman y el resultado se redondea al número entero más cercano.
Métodos avanzados de formación de conjuntos
Hay tres técnicas principales de formación por conjuntos avanzados, cada una de las cuales está diseñada para tratar un tipo específico de problema de aprendizaje automático. Las técnicas de “ensacado” se utilizan para disminuir la varianza de las predicciones de un modelo, y la varianza se refiere a cuánto difiere el resultado de las predicciones cuando se basa en la misma observación. Las técnicas de “impulso” se utilizan para combatir el sesgo de los modelos. Finalmente, el “apilamiento” se utiliza para mejorar las predicciones en general.
Los propios métodos de aprendizaje por conjuntos se pueden dividir generalmente en uno de dos grupos diferentes: métodos secuenciales y métodos de conjuntos paralelos.
Los métodos de conjunto secuencial reciben el nombre de “secuencial” porque los alumnos / modelos base se generan secuencialmente. En el caso de los métodos secuenciales, la idea fundamental es que se explote la dependencia entre los alumnos de base para obtener predicciones más precisas. Los ejemplos mal etiquetados tienen sus pesos ajustados mientras que los ejemplos etiquetados correctamente mantienen los mismos pesos. Cada vez que se genera un nuevo alumno, los pesos cambian y la precisión (con suerte) mejora.
A diferencia de los modelos de conjuntos secuenciales, los métodos de conjuntos paralelos generan los alumnos base en paralelo. Al llevar a cabo el aprendizaje en conjunto paralelo, la idea es aprovechar el hecho de que los alumnos de base tienen independencia, ya que la tasa de error general puede reducirse promediando las predicciones de los alumnos individuales.
Los métodos de formación en conjunto pueden ser de naturaleza homogénea o heterogénea. La mayoría de los métodos de aprendizaje por conjuntos son homogéneos, lo que significa que utilizan un solo tipo de modelo / algoritmo de aprendizaje base. En contraste, los conjuntos heterogéneos hacen uso de diferentes algoritmos de aprendizaje, diversificando y variando a los alumnos para garantizar que la precisión sea lo más alta posible.
Ejemplos de algoritmos de aprendizaje por conjuntos
Visualización de refuerzo de conjuntos. Foto: Sirakorn a través de Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)
Los ejemplos de métodos de conjuntos secuenciales incluyen AdaBoost , XGBoost y el aumento del árbol de degradado . Todos estos son modelos de impulso. Para estos modelos de impulso, el objetivo es convertir a los alumnos débiles y de bajo rendimiento en alumnos más poderosos. Los modelos como AdaBoost y XGBoost comienzan con muchos estudiantes débiles que se desempeñan un poco mejor que adivinar al azar. A medida que continúa el entrenamiento, se aplican pesos a los datos y se ajustan. Los casos que fueron clasificados incorrectamente por los alumnos en rondas anteriores de entrenamiento reciben más peso. Una vez que este proceso se repite para el número deseado de rondas de entrenamiento, las predicciones se unen mediante una suma ponderada (para tareas de regresión) y un voto ponderado (para tareas de clasificación).
El proceso de aprendizaje del ensacado. Foto: SeattleDataGuy a través de Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)
Un ejemplo de un modelo de conjunto paralelo es un clasificador de bosque aleatorio , y bosques aleatorios también es un ejemplo de una técnica de ensacado. El término “ensacado” proviene de “agregación bootstrap”. Las muestras se toman del conjunto de datos total mediante una técnica de muestreo conocida como “muestreo bootstrap”, que los estudiantes de base utilizan para hacer predicciones. Para las tareas de clasificación, los resultados de los modelos base se agregan mediante votación, mientras que se promedian juntos para las tareas de regresión. Random Forests utiliza árboles de decisión individuales como aprendices básicos, y cada árbol del conjunto se construye con una muestra diferente del conjunto de datos. También se utiliza un subconjunto aleatorio de características para generar el árbol. Lo que lleva a árboles de decisiones individuales altamente aleatorizados, que se combinan para proporcionar predicciones confiables.
Visualización de apilamiento de conjuntos. Foto: Supun Setunga a través de Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)
En términos de técnicas de conjuntos de apilamiento, los modelos de clasificación o regresión múltiple se combinan a través de un metamodelo de nivel superior. Los modelos base de nivel inferior se entrenan al ser alimentados con el conjunto de datos completo. Los resultados de los modelos base se utilizan luego como características para entrenar el metamodelo. Los modelos de conjuntos de apilamiento suelen ser de naturaleza heterogénea.
Fuente:
Nelson, D. (2020, 26 octubre). What is Ensemble Learning? Recuperado 27 de octubre de 2020, de https://www.unite.ai/what-is-ensemble-learning/