Geoffrey Hinton, Yoshua Bengio y Dario Amodei han destacado como figuras centrales en el desarrollo de la inteligencia artificial (IA). Sin embargo, a pesar de sus avances, han admitido no comprender completamente cómo los modelos de lenguaje procesan la información. Este fenómeno ha sido descrito como un enigma dentro del campo. Recientemente, Sam Altman y otros líderes en la industria han expresado preocupaciones sobre las limitaciones en la comprensión de estos modelos.
Nick Cammarata, exmiembro de OpenAI y ahora investigador en Goodfire, está abordando esta complejidad. En un artículo publicado el 15 de octubre, argumenta que, contrariamente a la percepción general, las redes neuronales son más comprensibles de lo que se piensa. Aunque su investigación no ofrece una solución definitiva, presenta una hipótesis que se basa en experimentos tanto con modelos de lenguaje como de visión computacional.
Cammarata se centra en el concepto de polisemia neuronal, que refiere a la capacidad de algunas neuronas para responder a conceptos aparentemente desconectados. Hasta ahora, la visión dominante sostenía que las neuronas mezclaban características diversas, lo cual él refuta. Sugiere que las neuronas no solo responden a patrones visuales, sino que estos patrones pueden ser comunes entre objetos disímiles.
Además, Cammarata presenta la teoría de la generalización recursiva, donde una neurona puede comenzar reconociendo un patrón y, a medida que aprende, integrar variaciones relacionadas. Argumenta que esta agrupación no es aleatoria, sino el resultado de los vínculos que establece la propia red neuronal, lo que podría ayudar a desentrañar cómo los modelos de lenguaje forman abstracciones.
Curiosamente, Cammarata sostiene que las redes neuronales actuales podrían ser más fáciles de interpretar que sus predecesoras. Asocia las dificultades previas con problemas estructurales y herramientas de visualización limitadas. Esta afirmación ha suscitado reacciones en la comunidad, destacando el apoyo de Sam Altman, quien elogió el trabajo de Cammarata en redes sociales, enfatizando la importancia de avanzar hacia una mejor comprensión de las redes neuronales para garantizar la seguridad y alineación adecuada de los modelos de IA.