¿Tiene recorrido la IA en local?

Durante años hemos estado migrando herramientas y nuestros datos al cloud. En un principio, se planteó la cuestión de si ir hacia el cloud era el camino adecuado para todas las empresas, pero con el tiempo se impuso como la opción por defecto para la inmensa mayoría. Hoy en día, con la aparición de la IA, me pregunto si es posible que desandemos parte de ese camino, para utilizar IA en local.

Con la aparición del cloud hemos visto cómo más y más funcionalidades han pasado de correr en nuestros PCs a ejecutarse en el cloud. Entre las ventajas del cloud estaba la posibilidad de acceder al software como servicio (o SaaS), eliminando la necesidad de adquirir e instalar una aplicación y mantenerla actualizada, pagando por suscripción en lugar de por compra. Además ganábamos backups de nuestros datos transparentes, junto con la posibilidad de compartir y hacer trabajo colaborativo fácilmente.

Pero también asumimos peajes: dependíamos de una conexión a Internet permanente, nuestros datos quedaban expuestos a que el proveedor los consultara o utilizara, y aceptábamos un vendor lock-in importante, porque esos datos vivían en la infraestructura de un tercero.

Con la IA empezamos directamente en el cloud, principalmente porque el coste del hardware necesario para ejecutar los modelos de IA quedaba fuera del alcance de la mayoría. Pero, como con toda tecnología, el coste baja con el tiempo. Es lo que está ocurriendo con el open source, que ya permite ejecutar en un ordenador personal de gama alta modelos que hace poco más de un año eran el estado del arte.

Es cierto que todavía los modelos más grandes requieren de hardware caro, pero hay casos de uso que son perfectamente factibles en local como la búsqueda semántica en documentos, preguntas y respuestas, traducción y ciertos casos de uso de programación. Aunque este último es donde los modelos en la nube conservan todavía una ventaja clara.

Lo que empuja hacia la IA local

Actualmente estamos observando ciertos factores que están facilitando la adopción de la IA en local:

Los precios de la IA en el cloud han experimentado fuertes subidas, en gran medida porque están dejando de estar subvencionados. Esto ya supone un problema para empresas que la han adoptado de lleno y prácticamente de un día para otro, están viendo como el precio que pagan por IA se ha multiplicado. En muchos casos, está llevando a las empresas a reducir el uso, con la consecuente pérdida de productividad que ya habían ganado.
Mantener el control sobre la privacidad de los datos se vuelve más difícil y aumentan los riesgos. Para sacar el máximo partido a nuestros datos con la IA debemos darle acceso. Por primera vez tenemos una tecnología que simplifica la integración entre diferentes sistemas, eliminando la necesidad de crear costosas integraciones adhoc. Sin embargo, la idea de dar acceso a todos nuestros sistemas a una IA, propiedad de terceros, supone un riesgo que no debe ser tomado a la ligera. Siento que algunas empresas están tomando esta decisión viéndola como un caso de uso más del cloud. Sin embargo, estamos hablando de una tecnología nueva capaz de extraer un valor de nuestros datos que antes no era posible.
La geopolítica ha puesto la soberanía tecnológica en el centro. Ahora mismo los grandes labs de IA son estadounidenses o chinos, con todo lo que ello implica. En Europa hay muchas empresas que por regulación no pueden sacar los datos de la Unión Europea, y se están encontrando con problemas para adoptar la IA por este motivo. La IA en local puede ser una solución a muchos de estos problemas.
Los fabricantes de hardware están apostando cada vez más por equipos capaces de ejecutar IA en local, primero fue Apple con Apple silicon y la memoria unificada, y ahora son Nvidia con Microsoft los que han presentado equipos para ejecutar IA fácilmente en Windows. Por otro lado, Apple acaba de presentar Siri AI que utilizará un modelo híbrido de ejecución donde las consultas sencillas se ejecutan en el dispositivo y las más complejas viajan a la nube de Apple. Aunque el modelo es de Google, garantizan que ningún dato saldrá de los servidores de Apple, y Google no tendrá acceso.
La infraestructura actual no es capaz de satisfacer toda la demanda, y no es raro que los modelos tengan fallos de disponibilidad que interrumpan el uso normal. Personalmente puedo decir que en los últimos meses todas las semanas he experimentado al menos varios errores por sobrecarga de las APIs de los modelos de IA, teniendo que interrumpir tareas de programación hasta que el servicio se recuperaba.

Lo que frena la IA en local

Sin embargo, la IA local tiene algunos inconvenientes, que aunque se pueden mitigar y mejorar con el tiempo, no tengo claro que vayan a desaparecer completamente:

Coste de hardware: A día de hoy requieren de equipos de gama media alta y alta para correr, siendo los Mac con Apple silicon los equipos donde es más sencillo correr IA. Aunque para aprovechar los modelos más grandes necesitamos bastante memoria RAM, con 16gb ya podemos correr modelos que nos permiten hacer preguntas o respuestas, resumir correos, o hacer traducciones. Es una incógnita si llegará el día en que podamos correr modelos del estado del arte que manejen grandes ventanas de contexto íntegramente en local o tendremos que seguir utilizando el cloud para estos casos.
Conocimiento técnico: Mucho del software actual para ejecutar IA en local requiere de ciertos conocimientos técnicos que lo hacen complejo para usuarios no técnicos. Incluso la selección del modelo idóneo para nuestro hardware y caso de uso no es una tarea trivial. Aunque modelos como los de qwen3.5 4b o gemma4 e4b son bastante buenos en equipos con 16gb de ram para muchos casos de uso.
Precisión: La calidad y precisión de las respuestas suele ser más baja que la de los modelos de los big labs, además son más sensibles a la calidad de los prompts. Si estamos acostumbrados a utilizar ChatGPT o Claude, sabemos que en muchas ocasiones podemos darles un prompt vago y obtener buenas respuestas. Con los modelos pequeños tenemos que trabajar más el prompt y aún así es posible que la calidad de la respuesta no sea la misma.
Tamaño del contexto: Al tener menos memoria los equipos personales, tenemos un límite en el tamaño del contexto que podemos utilizar en cada consulta. El tamaño del contexto que podemos utilizar en local está entorno a uno o dos órdenes de magnitud por debajo del que podemos utilizar en el cloud.
Velocidad: Los modelos en la nube suelen responder más rápido, mientras que en local es frecuente tener que esperar más, aunque esto varía mucho en función del hardware, el modelo y el caso de uso. La experiencia de usuario de los modelos en remoto es perceptiblemente mejor que en local.
Acceso a los datos: Debido al uso del cloud que llevamos haciendo, parte de nuestros datos están alojados en plataformas a las que la IA local no siempre puede acceder. Esto supone un vendor lock-in que hace más complejo el uso de IA local con nuestros datos.

Creo que el mayor argumento a día de hoy para las empresas con respecto a la IA local es mantener el control total sobre la privacidad de los datos. En este aspecto es indiscutible la ventaja de esta sobre la IA en el cloud. Eliminar la preocupación sobre el control de los datos también desbloquea más casos de uso que las empresas a día de hoy están limitando. Tener una IA con acceso total a tus documentos, tus correos, tu código, etc., sin tener que preocuparte, permite sacar el máximo valor al potencial actual de la IA.

–

PD: Estamos llevando estas ideas a la práctica, por eso hemos creado un cliente de correo que ejecuta la IA 100% en local. Si te interesa puedes visitar: → https://getemailops.com