Anthropic Lanza Claude 3.5 Haiku: Mejoras en Programación y Nuevo Precio

Anthropic ha lanzado recientemente Claude 3.5 Haiku, una versión mejorada que ya está disponible en API, Amazon Bedrock y Google Cloud’s Vertex AI. Esta actualización promete un rendimiento superior, especialmente en programación, pero con un precio y velocidad que podrían hacer dudar a algunos desarrolladores…

Rendimiento Destacado en Programación

Claude 3.5 Haiku ha demostrado ser particularmente eficaz en la resolución de problemas de software. Las pruebas de SWE-bench, diseñadas para medir la capacidad de los modelos en la solución de problemas complejos, muestran que este modelo supera a otros como GPT-4o, lo que lo convierte en una herramienta competitiva para tareas de codificación. Esta capacidad subraya el compromiso de Anthropic por optimizar sus modelos para tareas especializadas.

Claude 3.5 Haiku is now available on our API, Amazon Bedrock, and Google Cloud's Vertex AI.

Haiku is fast and particularly strong at coding. It outperforms state-of-the-art models—including GPT-4o—on SWE-bench Verified, which measures how models solve real software issues. pic.twitter.com/SR0i9W7W0T

— Anthropic (@AnthropicAI) November 4, 2024

Posición en el Índice de Calidad de IA

En el Artificial Analysis Quality Index, que considera pruebas de MMLU, GPoA, MATH y HumanEval, Claude 3.5 Haiku alcanzó un índice de 69. Esto es un avance significativo comparado con su predecesor, Claude 3 Haiku, que obtuvo 54. Aunque Claude 3.5 Haiku se encuentra justo por debajo de Claude 3 Opus (70), su rendimiento lo posiciona por encima de varios modelos de renombre como Llama 3.1 70B.

Desafíos de Precio y Velocidad

Aunque las mejoras son evidentes, Claude 3.5 Haiku trae consigo un precio por token cuatro veces mayor que el de Claude 3 Haiku, lo que lo hace casi 10 veces más caro que otros modelos como Gemini 1.5 Flash de Google y GPT-4 mini de OpenAI. Este aumento en costos se debe probablemente a la ampliación de la capacidad del modelo, reflejada también en una velocidad de salida aproximadamente dos veces más lenta en comparación con Claude 3 Haiku.

¿Una Elección Difícil para Desarrolladores?

El lanzamiento de Claude 3.5 Haiku es un hito para Anthropic, logrando un nivel de inteligencia que se acerca al de modelos premium como Claude 3 Opus solo ocho meses después del lanzamiento inicial de la serie Claude. Sin embargo, su alto costo y menor velocidad pueden representar un desafío en un mercado donde la competitividad es alta y existen alternativas más económicas.

Claude 3.5 Haiku representa un avance notable en la programación y resolución de problemas de software, pero su adopción dependerá de cómo las empresas evalúen la relación costo-beneficio en comparación con otros modelos líderes.