Power Hungry Processing: Watts Driving the Cost of AI Deployment?

En los últimos años ha aumentado la popularidad de los productos comerciales de IA basados en sistemas de IA generativos y polivalentes que prometen un enfoque unificado de la creación de modelos de aprendizaje automático (AM) en la tecnología. Sin embargo, esta ambición de «generalidad» tiene un coste elevado para el medio ambiente, dada la cantidad de energía que requieren estos sistemas y la cantidad de carbono que emiten. En este trabajo proponemos la primera comparación sistemática del coste de la inferencia en curso de varias categorías de sistemas de ML, abarcando tanto los modelos específicos para una tarea (es decir, modelos ajustados que realizan una única tarea) como los modelos de «propósito general» (es decir, los entrenados para múltiples tareas). Medimos el coste de despliegue como la cantidad de energía y carbono necesaria para realizar 1.000 inferencias sobre un conjunto de datos de referencia representativo utilizando estos modelos. Comprobamos que las arquitecturas generativas polivalentes son órdenes de magnitud más caras que los sistemas para tareas específicas, incluso cuando se controla el número de parámetros del modelo. Concluimos con un debate en torno a la tendencia actual de desplegar sistemas de ML generativo polivalentes, y advertimos de que su utilidad debería sopesarse más intencionadamente frente al aumento de los costes en términos de energía y emisiones. Se puede acceder a todos los datos de nuestro estudio a través de una demostración interactiva para llevar a cabo exploraciones y análisis adicionales.