Cómo medir si tu agente de IA hace bien su trabajo

La mayoría de empresas que despliegan un agente de IA no saben decir si funciona bien. Saben decir si les gusta, que es otra cosa. Y esa diferencia se paga: sin criterios de evaluación definidos antes del despliegue, la calidad del agente es una opinión, y una opinión no sirve para decidir si amplías, corriges o apagas. Este artículo va de eso: de cómo construir la medición antes de encender nada.

«Parece que funciona» no es una medida

Cuando un agente entra en producción, lo normal es que las primeras semanas generen entusiasmo. Responde rápido, redacta bien, clasifica casi todo. El equipo lo prueba con casos fáciles, ve resultados razonables y concluye que va bien. El problema es que esa conclusión se apoya en tres sesgos previsibles.

• Se prueba con lo típico, no con lo difícil. Los casos raros —el pedido con dos direcciones, la factura escaneada torcida, el cliente que pregunta tres cosas a la vez— son justo los que definen si el agente aporta o crea trabajo nuevo.
• Se mira la salida, no la consecuencia. Un texto correcto no significa que el proceso mejorara: puede que alguien lo revise entero antes de usarlo, y entonces no has ahorrado nada.
• Nadie cuenta los fallos silenciosos. El error que se detecta es visible. El que se cuela hasta el cliente, el ERP o la contabilidad no aparece en ninguna conversación hasta que aparece en un problema.

Los marcos serios de gestión de riesgo de IA insisten en esto mismo. El AI Risk Management Framework del NIST organiza el trabajo en cuatro funciones —gobernar, mapear, medir y gestionar— y la medición no es una fase final: es una capacidad que se diseña junto con el sistema. Si la añades después, mides lo que puedes, no lo que importa.

El error de mercado: evaluar por impresión y a posteriori

El patrón se repite. Se elige la herramienta, se conecta al proceso, se pone en marcha y, meses después, alguien de dirección pregunta si está funcionando. Entonces empieza la búsqueda de métricas, que suele terminar en dos respuestas igual de pobres: «el equipo está contento» o «hemos ahorrado mucho tiempo», sin base con la que comparar.

Reconocerás la situación si te suena alguno de estos síntomas:

• Nadie sabe qué porcentaje de casos resuelve el agente de punta a punta y cuántos acaban en manos de una persona.
• No existe registro de qué hizo el agente en cada caso, así que no se puede reconstruir por qué falló.
• Se cambian las instrucciones del agente sobre la marcha, sin comprobar si el cambio rompió algo que antes funcionaba.
• No hay dato de cómo iba el proceso antes, así que cualquier mejora es una sensación comparada con un recuerdo.
• La responsabilidad sobre la calidad está repartida: el proveedor dice que el sistema responde y el equipo dice que el sistema se equivoca.

Si no puedes medir el antes y el después, no has implantado una mejora; has comprado una expectativa.

Y hay un detalle que agrava el problema en los agentes frente a una automatización clásica: una regla falla siempre igual, un agente falla de forma distinta cada vez. Eso hace que la revisión puntual sea insuficiente y que la medición tenga que ser continua y muestreada, no una prueba de aceptación de un día.

Marco Aito: los cuatro niveles que hay que medir

Medir un agente no es una métrica; son cuatro capas de pregunta. Si sólo mides la primera, tendrás un sistema que acierta mucho y no aporta nada. Si sólo mides la tercera, tendrás un número de negocio que no sabrás cómo mover.

1. Nivel tarea: ¿acertó en este caso?

Es la unidad mínima. Requiere algo que casi nadie prepara: un conjunto de casos de referencia, es decir, entre 30 y 100 casos reales de tu operación con la respuesta correcta ya validada por alguien que sabe. Ese conjunto es tu vara de medir; sin él, cualquier evaluación es anecdótica. Debe incluir casos fáciles, casos frontera y casos que el agente debería rechazar o derivar.

2. Nivel proceso: ¿mejoró el flujo de trabajo?

Un agente que acierta el 90% pero cuya salida hay que revisar íntegra no ha mejorado el proceso: ha añadido un paso. Aquí se mide el flujo completo: cuántos casos llegan al final sin intervención humana, cuánto tarda el ciclo de punta a punta, cuánto retrabajo genera, cuántas veces vuelve un caso ya cerrado.

3. Nivel negocio: ¿movió un KPI que le importa a alguien?

Coste por operación, plazo de respuesta comprometido con el cliente, tasa de error en registros, capacidad liberada del equipo, margen del proceso. Esta capa es la que justifica la inversión, y sólo funciona si tomaste una medición inicial antes de desplegar. Si no la tienes, la conversación sobre retorno es una conversación de intuiciones — el mismo problema que explicamos en cómo calcular el ROI de una automatización.

4. Nivel riesgo: ¿qué pasa cuando se equivoca?

Es el nivel que más se olvida y el que más caro sale. No todos los errores valen lo mismo: que el agente clasifique mal un correo interno es ruido; que confirme un pedido inexistente o dé una condición contractual equivocada a un cliente es dinero y exposición legal. Antes de desplegar hay que separar los fallos tolerables de los inaceptables y poner un control humano sólo donde el segundo tipo es posible.

Cómo montar la evaluación antes de desplegar

Este es el trabajo previo. Ocupa días, no semanas, y es lo que convierte el agente en un sistema evaluable en lugar de en un experimento con buena prensa.

1. Define qué significa «bien» por escrito, caso por caso. Un criterio de aceptación es una frase verificable: «extrae número de factura, base imponible y fecha exactos» o «responde con la política vigente y deriva si el cliente pide una excepción». Si no puedes escribirlo, el agente tampoco puede cumplirlo.
2. Construye el conjunto de casos de referencia. Casos reales de tu operación, con la respuesta correcta validada por la persona que hoy hace ese trabajo. Incluye deliberadamente las excepciones que os complican la vida.
3. Mide la situación de partida. Con qué tasa de error, en cuánto tiempo y con cuánto esfuerzo se hace hoy ese trabajo sin agente. Sin esa referencia, no hay comparación posible después.
4. Fija el umbral de aprobación y el de parada. Qué nivel de acierto es suficiente para desplegar, y qué nivel de fallo obliga a apagarlo. Decidir el segundo antes evita la discusión emocional del día que falle.
5. Decide el muestreo de revisión humana. Qué porcentaje de casos revisa una persona, con qué frecuencia y con qué criterio. Al principio alto; se baja cuando los datos lo justifican, no cuando cansa revisar.
6. Exige registro de cada actuación. Qué entró, qué consultó el agente, qué decidió, qué hizo y con qué grado de confianza. Sin ese registro no hay diagnóstico posible: sólo hay quejas.
7. Prepara la prueba de regresión. Cada vez que cambies instrucciones, modelo o fuente de datos, vuelve a pasar el conjunto de referencia completo. Es la única forma de saber si has arreglado una cosa rompiendo otras dos.
8. Nombra un responsable de la calidad del agente. Una persona con nombre que revisa los números cada mes y tiene autoridad para pararlo. Un proceso sin dueño no se transforma; se abandona.

Fíjate en que ninguno de estos ocho pasos es técnico. Son decisiones de proceso, y por eso se toman antes de elegir herramienta —la misma lógica que aplicamos en las cinco condiciones operativas previas a un agente.

Qué métricas tienen sentido según lo que hace el agente

No hay un cuadro de mando universal. Depende del trabajo que le hayas encargado.

Si clasifica o extrae información

• Porcentaje de campos extraídos correctamente sobre el conjunto de referencia.
• Tasa de casos derivados a una persona por baja confianza (y si esa derivación estaba justificada).
• Errores que pasan el control y llegan al sistema de destino: la métrica más importante y la peor medida.
• Coste y tiempo por documento procesado, comparado con la situación de partida.

Si redacta o responde

• Porcentaje de respuestas usadas sin edición, editadas levemente o descartadas. Es la señal más honesta de utilidad real.
• Tasa de resolución en el primer contacto y de reapertura del caso.
• Adherencia a la política de la empresa: cuántas veces afirma algo que no está en la fuente autorizada.
• Casos en los que debería haber derivado a una persona y no lo hizo.

Si ejecuta acciones en tus sistemas

• Porcentaje de flujos completados de punta a punta sin intervención.
• Acciones revertidas o corregidas después, y coste de esa corrección.
• Tiempo de ciclo del proceso completo frente a la medición inicial.
• Incidencias provocadas por el agente en sistemas conectados: registros duplicados, estados incoherentes, avisos indebidos a clientes.

Un apunte incómodo sobre la última familia: cuanto más autonomía le das a un agente, más caro es medirlo bien, porque cada acción tiene consecuencias en varios sistemas. Ese coste de supervisión es parte del coste total de tenerlo, y suele quedar fuera del presupuesto inicial — lo desarrollamos en cuánto cuesta mantener un agente de IA.

Cuándo esta evaluación compensa y cuándo es exagerada

Montar todo lo anterior tiene un coste. Aplícalo con proporción.

Sí, con todo el rigor

• El agente toca clientes, dinero, contratos o datos personales.
• El volumen es alto y un error pequeño repetido se convierte en un problema grande.
• La salida entra en otro sistema sin que nadie la lea antes.
• Hay que justificar la inversión ante dirección o un comité.

No, o en versión ligera

• Uso interno, bajo volumen y una persona revisa siempre antes de usar el resultado.
• Es una prueba acotada con fecha de fin y decisión explícita al terminar.
• El proceso subyacente todavía no está estandarizado: ahí lo que falta no es medición del agente, es diseño del flujo. Medir el desorden sólo te dará números del desorden.
• El trabajo es repetitivo y con criterio claro: probablemente no necesitabas un agente, sino una regla o una integración.

¿Y si ya lo tienes funcionando sin métricas?

No hay que apagarlo ni rehacerlo. Hay que recuperar la capacidad de juicio, en este orden:

1. Reúne 40–50 casos reales que ya haya procesado y haz que alguien con criterio los revise a ciegas. Eso te da una foto del acierto actual.
2. Clasifica los fallos encontrados por gravedad, no por frecuencia. Primero se tapan los que pueden costar dinero o reputación.
3. Activa el registro de actuaciones si no lo tenías. Sin él, el mes que viene estarás igual.
4. Reconstruye la medición de partida con lo que haya: tiempos de la herramienta anterior, incidencias históricas, horas dedicadas. Aproximado y documentado vale más que exacto e inexistente.
5. Fija umbral, muestreo y responsable, y revisa los números en una reunión mensual corta.

Medir un agente es, en el fondo, un ejercicio de honestidad operativa. Obliga a escribir qué esperas de él, a admitir cómo de bien se hacía antes ese trabajo y a aceptar que a veces la respuesta será «no compensa». Esa incomodidad es exactamente lo que separa una implantación seria de una compra tecnológica con buena presentación.