La factura de la IA y el creciente coste de entrenarla: de los 78 millones de GPT-4 a los 191 millones del Gemini de Google

El origen tecnológico de lo que ahora llamamos IA generativa se remonta a 2017 con la publicación del paper Transformer, publicado por unos científicos de Google con un modelo cuyo entrenamiento costó unos 900.000 dólares de entonces. Gemini Ultra, el último gran modelo de la tecnológica, habría costado unas 200 veces más, concretamente 191 millones de dólares, según las estimaciones de Stanford y Epoch AI.

La prestigiosa universidad acaba de publicar su informe anual en el que analiza la industria, la publicación más prestigiosa sobre esta tecnología, y ha presentado una de las primeras estimaciones que constatan el creciente coste de entrenar los grandes modelos de inteligencia artificial.

Aunque Gemini es el más costoso, los trabajos de OpenAI no son una excepción. De la versión Davinci de GPT-3 a GPT-4 hay una diferencia de 74 millones de euros en costes de entrenamiento.

La industria se encuentra en pleno proceso de optimización de este paso como una de las medidas para aligerar la monstruosa inversión en centros de datos que es necesaria para un mundo en que la IA se use con tanta frecuencia como Internet.

En este sentido, empresas como Meta están lanzando modelos más pequeños y optimizados para tareas más simples, evitando así matar moscas a cañonazos, pero el camino es largo aún, ya que, como constata la investigación, la correlación entre la potencia de un modelo y el coste de entrenarlo es prácticamente lineal.

HEGEMONÍA ESTADOUNIDENSE

Los modelos fundacionales han sido la aplicación de la IA generativa estrella del año, gracias a los asistentes que se construyen sobre eso y el número de estos también ha crecido casi en paralelo con la atención que se les presta, ya que desde 2022 a 2023 se ha doblado el número de grandes modelos de lenguaje, pasando de 72 a 149.

Aunque OpenAI lleva la vitola de empresa puntera en el sector, las empresas que lideran por número de modelos publicados en 2023 son las grandes tecnológicas: Google, destacada con 18 publicaciones, Meta, con 11 y Microsoft, con siete, que cierra el podio tras el cual se sitúa la empresa dirigida por Sam Altman, que lanzó siete de estos productos a lo largo del año pasado.

Por países, la hegemonía es indiscutiblemente estadounidense, con más modelos publicados que el resto del mundo junto. Las 109 publicaciones en el país de las barras y estrellas hacen palidecer los 20 modelos liberados en China o los 15 que publicaron en su conjunto Reino Unido y los países de la Unión Europea.

FALTA DE EVALUACIÓN

La principal alerta roja que enciende el informe es la falta de mecanismos de control de riesgo en la inteligencia artificial y concretamente en los grandes modelos de lenguaje. La investigación de Stanford constató que no existe un modelo estándar que permite a los grandes actores del sector mostrar cómo de avanzados están en materia de responsabilidad de forma que sean comparables.

"Los desarrolladores líderes, entre ellos OpenAI, Google y Anthropic, testean sus modelos contra referencias de IA responsable distintas. Esta práctica completa el esfuerzo para comparar sistemáticamente los riesgos y limitaciones de los grandes modelos de IA", señala el informe.

En paralelo, también destacan negativamente por la falta de transparencia en las formas en que han entrenado sus datos y sus metodologías, una polémica de rabiosa actualidad tras la denuncia contra OpenAI de la actriz Scarlett Johansson por usar una voz similar a la suya para su asistente, pese al rechazo expreso de la actriz [una acusación que la compañía niega]. Esto se une a un aumento del 32,3% de los incidentes con IA en el mundo, con casos como los deepfakes sexuales de Taylor Swift o las fotos manipuladas con IA de menores para mostrarlas menudas del Instituto de Zaragoza.

Precisamente, otro punto señalado es la complejidad que entraña la batalla contra los deepfake. Estos vídeos que recrean la realidad con inteligencia artificial siguen siendo muy difíciles de detectar en comparación con lo fácil que es generarlos. "Ya están afectando a elecciones a nivel global", alertan desde la prestigiosa institución.