PrismML: modelos de IA pequeños que funcionan en tu teléfono sin nube

Durante mucho tiempo, en la mente de muchos, el desarrollo de los grandes modelos de lenguaje (LLMs) ha estado vinculado a la necesidad de contar con una infraestructura enorme y servidores en la nube de alto coste. Sin embargo, una startup llamada «PrismML» intenta darle la vuelta por completo a esta ecuación, demostrando que los modelos capaces de razonamiento lógico no tienen por qué ser de gran tamaño para ofrecer un alto rendimiento.

Y aunque la empresa aún no ha recaudado grandes financiaciones (se conformó con una ronda inicial de 22,25 millones de dólares), lo que la hace digna de seguimiento son las mentes técnicas que la respaldan y la tecnología que podría provocar una verdadera transformación en la forma en que usamos la inteligencia artificial.

Inteligencia artificial en tu bolsillo

PrismML apuesta por una idea sencilla pero ambiciosa: reducir el tamaño de los modelos de lenguaje hasta tal punto que permitan ejecutarlos directamente en ordenadores personales e incluso en teléfonos inteligentes avanzados. La empresa lanzó el jueves su modelo más reciente, «Bonsai 2 27B», una versión comprimida del modelo de código abierto «Qwen3.8 27B» de Alibaba.

El logro llamativo aquí reside en las cifras; el modelo se comprimió hasta ocupar solo 5,9 gigabytes, es decir, una reducción de entre 9 y 10 veces en comparación con el tamaño de memoria requerido por el modelo original. Este tamaño lo hace adecuado para funcionar en ordenadores personales, y quizás en teléfonos inteligentes de gama alta.

¿Quién está detrás de la empresa?

PrismML fue fundada por un grupo de investigadores del Instituto de Tecnología de California (Caltech), y está dirigida por Babak Hassibi, profesor del mismo instituto y experto en tecnologías de compresión de datos. La empresa también cuenta entre sus asesores con Ion Stoica, cofundador de «Databricks» y director del reconocido «Sky Computing Lab» de la Universidad de Berkeley.

La empresa cuenta con el respaldo de inversores destacados, entre ellos:

• El fondo Khosla Ventures
• La firma Cerberus Capital
• El Instituto de Tecnología de California, Caltech

Un rendimiento casi idéntico al original

No cabe duda de que PrismML no es la única empresa que opera en el campo de la compresión de modelos de lenguaje, ya que existe una fuerte competencia como la empresa «Multiverse Computing». Sin embargo, Hassibi afirma que lo que distingue la tecnología de su empresa es el mantenimiento del nivel de rendimiento prácticamente sin apenas retroceso.

Según la empresa, el modelo «Bonsai 2» alcanza el 98% del total de los resultados de los referentes de rendimiento del modelo original, en comparación con el 95% que logró la primera versión lanzada hace dos meses. Las cifras apuntan a un notable éxito comercial, ya que el primer modelo se descargó más de 11 millones de veces, mientras que las descargas de los modelos más pequeños superaron los 2,6 millones.

Hassibi considera que alcanzar una coincidencia total del 100% sigue siendo una cuestión más teórica que práctica, pues los propios modelos sin comprimir no son completamente precisos, y los referentes estándar no reflejan necesariamente el rendimiento en tareas del mundo real. Por ello, no se espera que la diferencia del 2% afecte de manera tangible al uso real.

¿Cómo se logra esta tecnología?

El enfoque de la empresa se basa en reducir los «pesos» (weights) que componen el modelo, que son la información que el modelo aprende y almacena durante el entrenamiento. Normalmente, cada peso requiere 16 bits para almacenarse, pero la tecnología de PrismML conocida como «pesos ternarios» (ternary weights) reduce eso a solo tres valores: (+1), (−1) o (0). Como resultado de almacenar valores mucho más pequeños por cada peso, el modelo ocupa radicalmente menos espacio.

La próxima ambición: modelos más grandes

La empresa dirige ahora su atención hacia la aplicación de la tecnología de compresión a modelos de mucho mayor tamaño. Hassibi afirma que los próximos modelos estarán dentro del rango de cientos de miles de millones de parámetros, y prevé que mantener la «inteligencia» del modelo será más fácil a medida que aumenta su tamaño, ya que existe un mayor margen para la compresión sin perder capacidades.

El asesor Ion Stoica expresa su entusiasmo por esta tecnología, considerando que hará posible ejecutar modelos avanzados directamente en los dispositivos de los usuarios. Resume su visión diciendo que la inteligencia se convertirá en algo «al alcance de tus dedos», y gratuito porque funciona en un dispositivo que ya has comprado, además de ser más privado porque tus datos no se enviarán a la nube.

✦ بقلم فريق دروب أيديا