Investigadores del MIT han logrado un avance significativo en la inteligencia artificial al demostrar que un modelo de lenguaje superior puede mejorar a uno inferior mediante la modificación de solo una pequeña fracción de sus parámetros. Este método, denominado “programación de pesos”, permite que una IA ajuste los pesos de otra sin necesidad de un reentrenamiento completo, lo que podría transformar la forma en que se optimizan los modelos de lenguaje.
En este proceso, los científicos utilizaron Qwen3.5-0.8B, un modelo de lenguaje, y le pidieron a GPT-6 Astra que ajustara un mínimo del 0,016 % de sus pesos. Como resultado, las capacidades matemáticas de Qwen mejoraron notablemente, pasando de un 7,9 % a un 48,1 % en el conjunto de datos MATH-500. Esta mejora se logra al simplificar los bucles de razonamiento que dificultan su rendimiento.
Aunque el avance es prometedor, la investigación aún es preliminar y no ha sido revisada por pares. Además, el método tiene limitaciones; no funcionó con Gemma 3 270M de Google, un modelo que no presenta problemas significativos en este ámbito, lo que sugiere que la técnica puede no ser aplicable en todos los casos.
El descubrimiento plantea la posibilidad de que en el futuro las IA puedan autorepararse, lo que preocupa a empresas del sector, ya que implicaría un desarrollo que va más allá de la intervención humana. Además, surge la interrogante sobre si los modelos de lenguaje actuales son tan eficientes como podrían ser, considerando la nueva capacidad de optimización que se ha revelado.
Este avance abre nuevas líneas de investigación y podría facilitar mejoras en modelos de lenguaje menos costosos, aunque aún queda un camino por recorrer antes de que este enfoque se convierta en la norma en el desarrollo de inteligencia artificial.