Rebeca MurilloIngeniera de producto y software · AI Driven · I+DReservar una llamada
EN·FR·ES
← Todos los escritos

Por qué necesitas hacer evaluaciones de IA en tus proyectos y repositorios en 2026

Lectura rápida

#1 Evitar el vendor lock-in

Los planes cambian y los servicios se caen. Cuando tu único proveedor tiene una interrupción, toda tu actividad de desarrollo se detiene.

#2 Conocer el costo de tus funcionalidades

En mi primera evaluación, la misma funcionalidad costó de unos $3 a $21 a precios de API. Un número por funcionalidad es una referencia para el próximo ajuste de precios.

#3 Identificar qué modelos usar, y cuándo

¿Qué paso del proceso merece el razonamiento de Opus, y para cuál bastaría Haiku? Los runs de evaluación en tu propio repositorio te lo dirán.

Dos límites

Un run no es un resultado, y los resultados pierden vigencia: las evaluaciones se tienen que repetir cuando cambian los modelos o los harnesses.

Introducción

La evolución de la IA en 2026 ha sido abrumadora, con modelos de IA y harnesses de código que se convirtieron en agentes totalmente autónomos y capaces. A finales de 2026, en mis proyectos, cuando un agente recibe suficiente contexto y lineamientos, la calidad del código está al nivel de un ingeniero senior, sobre todo con los modelos más capaces. La investigación está más dividida: las pull requests de agentes fusionadas reciben correcciones con un odds ratio de 1.62 frente a las PR humanas en los mismos repositorios. Claro que estos estudios son subjetivos, ya que el prompt original y la planificación con un humano cambiarían el resultado. En mi experiencia, los agentes también detectan más errores menores que el ojo humano.

La pregunta hoy es: ¿qué modelo usar en cada paso de un proceso, y con qué presupuesto?

Con las suscripciones a los modelos de frontera todavía recibimos tokens gratis: al medir el consumo de tokens y su costo, una suscripción de $100 o $200 da mucho más valor en tokens. Una medición independiente estimó en enero de 2026 que los planes de Claude entregan de 8 a 37 veces su precio en uso equivalente en API. Después de hacer el seguimiento de varias de mis funcionalidades desarrolladas, vi que el costo del consumo de tokens iba de $500 a $1,000 (¡una locura!), cuando en realidad solo pago una suscripción de $200. Era una funcionalidad importante, con stories desarrolladas en 3 repositorios distintos del mismo proyecto.

Eso me hizo preguntarme: ¿cuánto tiempo van a durar estos precios? GitHub escribió en abril de 2026 que “the current premium request model is no longer sustainable” para el uso agéntico. Durante 2026, la mayoría de los proveedores cambiaron la forma de contar el uso:

  • Anthropic, de noviembre de 2025 a febrero de 2026: las licencias Enterprise ya no incluyen tokens subsidiados, cada token se factura a precio de API.
  • OpenAI, en abril: un nuevo plan Pro de $100, y el uso de Codex reajustado en Plus.
  • GitHub, el 1 de junio: las premium requests reemplazadas por AI Credits.
  • Cursor, en junio: nuevos precios para Teams.

No todos los cambios fueron en el mismo sentido: Anthropic duplicó los límites de cinco horas de Claude Code en mayo. Aun así, creo que deberíamos esperar otro ajuste el próximo año.

Fuentes.

#1 Evitar el vendor lock-in

En un mercado muy competitivo, con precios y planes que cambian constantemente, es muy arriesgado trabajar con un solo proveedor de modelos de IA.

  • Los planes y los servicios cambian: Google anunció en mayo de 2026 que Gemini CLI dejaría de atender las solicitudes de sus suscriptores AI Pro y Ultra el 18 de junio, un mes después, en favor de una nueva CLI.
  • Los servicios se caen: Anthropic reportó errores en todos sus modelos, Claude Code incluido, durante casi cinco horas el 30 de julio de 2026; los usuarios de OpenAI no pudieron acceder a ChatGPT, Codex ni a la API Platform el 20 de abril de 2026; la API de Gemini en Vertex AI de Google devolvió una tasa elevada de errores durante dos horas el 27 de febrero de 2026. Cuando tu único proveedor tiene una interrupción, toda tu actividad de desarrollo simplemente se detiene (por unas horas cada vez, hasta ahora).

Esta es una de las razones por las que estoy construyendo una fábrica de software compatible por ahora con tres harnesses: Claude Code, Codex y OpenCode. Detrás hay un gateway LiteLLM, una sola API delante de muchos proveedores de modelos, para poder cambiar también de proveedor de modelos de IA.

Fuentes.

  • Google: “On June 18, 2026, Gemini CLI and Gemini Code Assist IDE extensions will stop serving requests for Google AI Pro and Ultra” (Transitioning Gemini CLI to Antigravity CLI, mayo de 2026).
  • Anthropic, 30 de julio de 2026: el incidente afectó “claude.ai, Claude API (api.anthropic.com), Claude Code, and Claude Cowork” (página de estado de Anthropic).
  • OpenAI, 20 de abril de 2026: “Impacted users are currently unable to access ChatGPT, Codex and API Platform” (página de estado de OpenAI).
  • Google Cloud, 27 de febrero de 2026: Vertex AI Gemini API, “Incident began at 2026-02-27 04:37 and ended at 2026-02-27 06:35” (página de estado de Google Cloud).

#2 Conocer el costo de tus funcionalidades

Está bien documentado que los agentes de IA rinden distinto según el lenguaje de programación y el entorno que se usa. Un benchmark de 2026 sobre refactorización multilenguaje encontró que “performance varies substantially across languages. No single model dominates all languages”; otro estudio de 2026 muestra que el costo en tokens puede variar de forma significativa según el lenguaje de programación; y con el modelo fijo, el harness por sí solo hace que las tasas de éxito y el consumo de recursos “vary substantially”.

Por eso es clave saber cuánto cuesta una funcionalidad, en tokens y en dinero. Ponerle un número a una funcionalidad también te da perspectiva sobre el valor recibido y la inversión que se está haciendo. En mi primera evaluación, la misma funcionalidad, construida desde la misma spec sobre el mismo repositorio, costó de unos $3 a $21 a precios de API, y los modelos movieron el costo mucho más que el método (resultados en los próximos artículos).

Aunque trabajes con una suscripción que parece regalar tokens, al menos deberías saber cuánto cuesta en tokens cada funcionalidad desarrollada. Este conocimiento también es una referencia para prepararte ante un posible ajuste de precios en el mercado, y así planificar con tiempo un posible aumento de tu presupuesto de IA. (La forma de contar importa: en esa evaluación, un run con un modelo abierto costó $2.72 en el gateway y $97.95 según la estimación del propio harness, que aplica los precios de Claude a otros modelos.)

Fuentes.

#3 Identificar qué modelos usar, y cuándo

Para algunas tareas de desarrollo, ¿de verdad hace falta usar modelos muy capaces todo el tiempo? ¿Cuándo podemos usar un modelo de menor capacidad, y por qué? ¿Qué paso del proceso merece el razonamiento de Opus, y para cuál bastaría Haiku? ¿Cuál es la diferencia de precio entre los modelos de frontera y los modelos open source? ¿Podemos entrenar un modelo de baja capacidad para que dé resultados de mejor calidad? Tantas preguntas que se pueden responder comparando distintos runs con distintos modelos.

La investigación empieza a responder algunas. En un estudio de 2026, enviar cada tarea al modelo adecuado igualó la tasa de resolución del mejor modelo individual “at about a fifth of the total cost per solve”. Claude Code, por ejemplo, permite asignar un modelo por subagente, “routing tasks to faster, lower-cost models like Haiku”.

Pero la lista de precios por sí sola no da el costo de una funcionalidad. En mi primera evaluación, el build más caro no fue uno de los tres con Opus y Sonnet ($15.68 a $16.56) sino un build staged con modelos open-weight (unos $21.03), debido a lo que hicieron los modelos con sus turnos después de escribir el código. Los benchmarks públicos no te van a decir cuál de los casos se aplica a tu código: Epoch AI señala que en SWE-bench Verified “all current and future models have been trained on the codebases used in its tasks”. Los runs de evaluación en tu propio repositorio te dirán qué modelo rinde mejor para tu base de código específica.

Fuentes.

Conclusión

Experimentar con evaluaciones en un repositorio puede aportar mucho valor: para conocer mejor la base de código, pero también para conocer los presupuestos reales de implementación, y qué modelos son los más adecuados para cada tarea.

Dos límites que hay que tener en cuenta. Un run no es un resultado: en un solo repositorio, un estudio de 2026 encontró que una ganancia de 4.9 puntos, con el número de tareas que aporta un repositorio, “cannot be separated from the agent’s run-to-run variance”. Y los resultados pierden vigencia: el propio postmortem de Anthropic describe cómo un cambio del esfuerzo de razonamiento por defecto y una nueva instrucción en el system prompt cambiaron la calidad de Claude Code durante semanas, con el mismo modelo. Las evaluaciones se tienen que repetir cuando cambian los modelos o los harnesses.

Voy a hacer evaluaciones en algunos de mis proyectos, y las voy a reportar aquí, empezando por una funcionalidad construida con distintos modelos y métodos.

Fuentes.

Trabajemos juntos

Mantengo espacio para colaboraciones de consultoría, por proyecto o a tiempo parcial.

Reservar una llamada →