A pesar de las analogías frecuentes, la IA de hoy opera en principios muy diferentes al cerebro humano. Ahora los investigadores han propuesto un nuevo método de aprendizaje más estrechamente relacionado con la biología, que creen que podría ayudarnos a abordar la eficiencia sin igual del cerebro.
El aprendizaje profundo moderno es, al menos, inspirado biológicamente, codifica información en la fuerza de las conexiones entre grandes redes de unidades informáticas individuales conocidas como neuronas. Sin embargo, probablemente la mayor diferencia es la forma en que estas neuronas se comunican entre sí.
Las redes neuronales artificiales están organizadas en capas, con cada neurona típicamente conectada a cada neurona en la siguiente capa. La información pasa entre capas de manera altamente sincronizada a medida que los números caen en un rango que determina la fuerza de la conexión entre pares de neuronas.
Las neuronas biológicas, por otro lado, se comunican disparando impulsos eléctricos conocidos como picos, y cada neurona lo hace en su propio horario. Las conexiones no están bien divididas en capas y presentan muchos bucles de retroalimentación, lo que significa que la salida de una neurona a menudo termina afectando su entrada en algún punto de la línea.
Este enfoque basado en picos es mucho más eficiente energéticamente, por eso entrenar a la IA más poderosa requiere kilovatios de electricidad mientras que el cerebro usa solo 20 vatios. Eso ha llevado a un creciente interés en el desarrollo de redes neuronales artificiales de punta, así como el llamado hardware neuromórfico, chips de computadora que imitan la organización física y los principios del cerebro, que podrían ejecutarlos de manera más eficiente.
Pero nuestra comprensión de estos enfoques basados en espigas aún está poco desarrollada y luchan por alcanzar el rendimiento de las redes neuronales artificiales más convencionales. Ahora, sin embargo, los investigadores de la Universidad Tecnológica de Graz en Austria piensan que pueden haber encontrado una manera de abordar el poder del aprendizaje profundo utilizando un enfoque de aprendizaje biológicamente plausible que funciona con redes neuronales.
En el aprendizaje profundo, la red se entrena haciendo que haga predicciones sobre los datos y luego evalúa qué tan lejos está. Este error se retrocede a través de la red para guiar los ajustes en la fuerza de las conexiones entre las neuronas. Este proceso se denomina retropropagación , y durante muchas iteraciones sintonizará la red hasta que haga predicciones precisas.
Se puede aplicar un enfoque similar para aumentar las redes neuronales, pero requiere grandes cantidades de memoria. También está claro que no es así como el cerebro resuelve el problema de aprendizaje, porque requiere que las señales de error se envíen hacia atrás tanto en el tiempo como en el espacio a través de las sinapsis entre las neuronas, lo cual es claramente imposible.
Eso llevó a los investigadores, que forman parte del Proyecto Cerebro Humano, a tener en cuenta dos características que se han convertido claramente en los datos experimentales de la neurociencia: cada neurona retener s una memoria de la actividad anterior en forma de marcadores moleculares que poco a poco se desvanecen con el tiempo; y el cerebro proporciona de arriba hacia abajo señales de aprendizaje utilizando cosas como el neurotransmisor dopamina que modulan es el comportamiento de los grupos de neuronas.
En un papel en Nature Communications , el equipo austriaco describir s cómo se crean d análogos artificiales de estas dos características para crear un nuevo paradigma de aprendizaje que ellos llaman E-Prop. Si bien el enfoque aprende más lentamente que los métodos basados en la propagación hacia atrás, logra un rendimiento comparable.
Más importante aún, permite el aprendizaje en línea. Eso significa que, en lugar de procesar grandes lotes de datos a la vez, lo que requiere una transferencia constante hacia y desde la memoria que contribuye significativamente a las facturas de energía del aprendizaje automático, el enfoque simplemente aprende de los datos a medida que están disponibles. Eso reduce drásticamente la cantidad de memoria y energía que requiere, lo que lo hace mucho más práctico para el aprendizaje en chip en dispositivos móviles más pequeños.
El equipo ahora está trabajando con investigadores de Intel para integrar el enfoque con la próxima versión del chip neuromórfico Loihi de la compañía , que está optimizado para redes de picos. También se están asociando con otros investigadores del Proyecto del Cerebro Humano en la Universidad de Manchester para aplicar e-prop a la supercomputadora neuromórfica SpiNNaker .
Todavía hay un largo camino por recorrer antes de que la técnica pueda igualar el poder de la IA líder de hoy. Pero si nos ayuda a comenzar a acercarnos a las eficiencias que vemos en los cerebros biológicos, podría pasar mucho tiempo antes de que la IA esté en todas partes.
Fuente:
<p; tab-interval=”36pt”>Gent, E. (2020, 26 julio). A New Brain-Inspired Learning Method for AI Saves Memory and Energy. Recuperado 27 de julio de 2020, de https://singularityhub.com/2020/07/27/a-new-brain-inspired-learning-method-for-ai-saves-memory-and-energy/</p;>