Esta herramienta estima el consumo energético de los Chatbots

Para nadie es un secreto que la inteligencia artificial (IA) ha transformado la forma en que interactuamos con la tecnología, pero pocos consideran el consumo de electricidad que implica cada consulta o mensaje a un modelo de IA.

Los modelos de IA modernos operan sobre GPUs y chips especializados, demandando una considerable cantidad de energía. Con el aumento del uso de estas tecnologías, se anticipa que las necesidades eléctricas crecerán drásticamente en los próximos años.

En este contexto, Julien Delavande ha desarrollado una herramienta Chat UI que permite estimar el consumo de energía de mensajes de chatbot en tiempo real. Esta herramienta no solo ofrece una visión del consumo energético en Watt-horas o Julios, sino que también lo compara con el uso de electrodomésticos comunes, dando una perspectiva tangible del impacto de la IA en nuestro entorno.

Cómo funciona la estimación energética en Chatbots

Cada vez que un chatbot genera una respuesta, se produce un consumo energético que, aunque pueda parecer minúsculo a simple vista, se multiplica exponencialmente al considerar millones de consultas.

Hoy la herramienta de Delavande muestra que, por ejemplo, solicitar al modelo Llama 3.3 70B que escriba un email típico consume aproximadamente 0.1841 Watt-horas. Este consumo es equivalente a usar un microondas durante 0.12 segundos o un tostador durante 0.02 segundos.

Comparaciones Tangibles del Consumo Energético

• Herramientas de estimación de energía como la desarrollada por Delavande son esenciales para visualizar el impacto ambiental.
• Estas comparaciones ayudan a entender cómo el consumo de energía de la IA se asemeja al de nuestros electrodomésticos diarios.
• La transparencia en el consumo energético puede incentivar mejores prácticas en el desarrollo de modelos de IA.

El impacto ambiental del consumo energético en la IA

El consumo energético de la IA tiene un impacto ambiental que no puede ser ignorado. Algunas empresas han adoptado prácticas ambientalmente poco amigables para sostener la creciente demanda de energía de la IA. Según un artículo reciente, las grandes tecnológicas están buscando soluciones milagrosas para el agotamiento energético.

• Se espera que el uso de hidrógeno y otras fuentes alternativas puedan mitigar este impacto. Más detalles aquí.

Fomentando la transparencia en la comunidad de IA

Una de las metas principales de la herramienta de Delavande es fomentar la transparencia en el consumo energético de la IA. Como él mismo señaló: “Incluso pequeños ahorros de energía pueden escalar a través de millones de consultas — la elección del modelo o la longitud del output pueden llevar a un impacto ambiental significativo.” Con iniciativas como el puntaje energético de la IA, se está promoviendo esta transparencia en la comunidad de código abierto.

Los desarrollos futuros podrían llevarnos a un punto donde el uso de energía sea tan visible como las etiquetas nutricionales en los alimentos. Esta visibilidad permitiría decisiones más conscientes y ambientalmente responsables en el uso de la inteligencia artificial.

La herramienta de Delavande, accesible desde aquí, no solo es un paso hacia la concienciación energética, sino también un recordatorio de que cada elección tecnológica tiene una huella ambiental. Con cada innovación, como la de Delavande, estamos un paso más cerca de un futuro donde la huella energética de la IA sea tan clara y manejable como los ingredientes de nuestra dieta diaria.