¿Cómo se mide un agente sintético? Las métricas que importan

¿Por qué medir un agente es distinto de medir una herramienta?

Una herramienta se mide por si funciona o no. Un agente ocupa un puesto, así que se mide como se mide un puesto: por el trabajo que logra, la calidad con que lo hace y la confianza que se le puede tener. Y como actúa en nombre del negocio, además de ser eficaz debe ser controlable: no basta con que resuelva, hay que saber cuándo y cómo.

¿Qué métricas de resultado se usan?

Las que ya usa el área a la que el agente apoya, no métricas inventadas para el agente. Así el resultado se compara con lo que había antes. Ejemplos por puesto:

• Ventas: prospectos atendidos y calificados, citas agendadas, tiempo hasta la primera respuesta, oportunidades que pasan al equipo de cierre.
• Atención al cliente: consultas resueltas sin intervención, tiempo de resolución, satisfacción reportada por el cliente.
• Cobranza: contactos efectivos, compromisos de pago registrados, pagos recibidos tras el contacto.
• Recepción y citas: citas agendadas y confirmadas, cancelaciones reprogramadas, inasistencias.
• Administración y contabilidad: documentos procesados, conciliaciones cerradas, partidas que requirieron corrección.

¿Cómo se mide la calidad?

Con revisión de conversaciones reales por una persona, con criterios escritos: ¿respondió lo que se preguntó?, ¿usó la información correcta?, ¿el tono fue el de la empresa?, ¿cumplió lo que prometió? Se hace por muestra constante, no una sola vez, y se registra qué errores aparecieron y qué regla se corrigió. Una calificación automática puede ayudar a priorizar qué revisar, pero no sustituye a la lectura de una persona.

¿Qué se mide para saber que el agente respeta sus reglas?

• Pases a una persona: cuántos casos escala y por qué motivo. Si no escala nunca, algo no se está viendo; si escala todo, no está haciendo el trabajo.
• Intervenciones humanas: cuántas veces una persona toma una conversación y qué la provocó.
• Acciones fuera de regla: intentos de hacer algo que las reglas no permiten, y si fueron detenidos.
• Reclamos y correcciones: casos donde el cliente o el equipo tuvo que corregir al agente.
• Cobertura de la bitácora: que cada acción tenga su registro con fecha y resultado.

¿Cómo se sabe que el agente está sano?

Midiendo en el canal por donde atiende, no sólo en el servidor: que reciba mensajes, que conteste y que lo haga a tiempo. Un agente puede tener el servidor encendido y estar mudo para el cliente. Se vigilan la disponibilidad, el tiempo de respuesta, los errores de las integraciones con tus sistemas y los avisos que se mandaron a una persona cuando algo falló. La vigilancia es parte de Synthetic OS.

¿Con qué se compara el resultado?

Con la línea base: cómo andaba el proceso antes del agente, medido con los mismos criterios. Si ese «antes» no existe, se construye en las primeras semanas, aunque sea con una muestra manual. Después se compara contra el propio puesto o contra una muestra atendida por personas. Esta página no trae cifras de referencia a propósito: lo razonable en una cobranza no lo es en una recepción, y una cifra general sería inventada. Cualquier proveedor que prometa un porcentaje sin conocer tu proceso te está vendiendo una expectativa, no una medición.

¿Quién ve las métricas y cada cuándo?

El responsable del proceso, no sólo el proveedor. Un reporte periódico con las métricas anteriores y un espacio para decidir: qué regla cambiar, qué ampliar y qué detener. Un tablero que nadie lee no gobierna nada. La relación con el control está en cómo se gobierna un agente sintético.

¿Qué señales indican que algo anda mal?

• Las métricas de resultado mejoran, pero los reclamos también suben.
• El agente casi nunca pasa un caso a una persona.
• Los pases a persona se concentran en un tipo de consulta que no estaba en sus reglas.
• Nadie del negocio revisa conversaciones reales desde hace semanas.
• Las cifras que presenta el proveedor no se pueden rastrear hasta la bitácora.