Inspect

Inspect AI es un marco de trabajo de código abierto para la evaluación de grandes modelos de lenguaje creado por el UK AI Safety Institute. Proporciona diversas componentes integradas, como facilidades para ingeniería de prompts, uso de herramientas, diálogo multi-turno y evaluaciones graduadas de modelos.

Características de Inspect AI

• Facilidades para ingeniería de prompts.
• Herramientas para diálogo multi-turno.
• Componentes para evaluaciones graduadas de modelos.
• Soporte para Python y extensiones de paquetes.

Cómo Funciona Inspect AI

• Instalar Inspect AI usando el comando: $ pip install inspect-ai.
• Desarrollar y ejecutar evaluaciones requiere acceso a un modelo de lenguaje y una clave de API adecuada.
• Ejecutar evaluaciones con diferentes proveedores de modelos, como OpenAI, Anthropic, Google, Mistral, HF y Together.
• Soporte para modelos alojados en Azure AI, AWS Bedrock, Cloudflare y locales con Ollama.
• Utilizar los componentes de dataset, solvers y scorers para evaluar diferentes escenarios y mejorar las evaluaciones.

Inspect AI ofrece una amplia variedad de herramientas y funcionalidades que permiten llevar a cabo evaluaciones detalladas y avanzadas de modelos de lenguaje. Es una herramienta fundamental para investigadores y profesionales que trabajan en el campo de la inteligencia artificial.