Mide si las respuestas del agente ayudan a los visitantes y se ciñen a fuentes aprobadas. Después, evalúa por separado si las transferencias llegan al equipo adecuado con contexto suficiente. No confundas estos resultados con el volumen o la duración de las conversaciones: interactuar más tiempo no significa necesariamente recibir mejor atención.
Ejemplo ficticio: Un agente para Harborview Workshop responde preguntas sobre una sala de capacitación. Sus páginas públicas indican que tiene capacidad para 36 personas sentadas, describen una entrada sin escalones y explican cómo solicitar una fecha. El agente puede responder con esos datos y preparar una consulta, pero no puede revisar el calendario en tiempo real ni reservar la sala.
Usa casos separados para revisar la calidad de las respuestas, los límites y la recuperación.
Elige medidas para comprobar si el visitante recibió ayuda
Empieza por el resultado que necesita el visitante. Para Harborview, podrías medir:
- Proporción de respuestas respaldadas: ¿Qué proporción de las respuestas factuales de la muestra tiene todas sus afirmaciones importantes respaldadas por las páginas aprobadas vigentes?
- Utilidad de las respuestas: ¿La respuesta atiende la pregunta, usa los datos correctos de ubicación o servicio e indica los límites importantes?
- Siguiente paso adecuado: Cuando no se conoce la disponibilidad, ¿el agente ofrece la vía de solicitud sin dar a entender que ya hay una reserva?
- Integridad de la transferencia: ¿Recibe el equipo la pregunta del visitante, la fuente pertinente, la decisión pendiente y los datos de contacto que la persona eligió compartir?
- Aceptación de la transferencia: ¿Qué proporción de las transferencias enviadas recibe confirmación de que alguien se hará cargo dentro del plazo acordado?
- Seguimiento completado: ¿Qué proporción de las transferencias aceptadas recibe el seguimiento prometido dentro de su plazo?
Define cada medida con numerador, denominador y método de revisión. La proporción de respuestas respaldadas es el número de respuestas factuales de la muestra con todas sus afirmaciones importantes respaldadas, dividido por el total de respuestas factuales revisadas. Quien revisa decide qué afirmaciones importan y qué cuenta como respaldo; una respuesta con una afirmación importante sin respaldo no supera la comprobación.
Para las transferencias, define un grupo por período de envío y sus plazos antes de medir. Por ejemplo, permite un día hábil para aceptar la responsabilidad y dos días hábiles desde la aceptación para completar el seguimiento. Calcula las proporciones cuando todos los casos del grupo hayan tenido su plazo completo; muestra los casos más recientes como pendientes.
Una muestra semanal ilustrativa, que no representa un resultado del producto, podría incluir 20 respuestas factuales, de las cuales 18 están completamente respaldadas: 18 / 20 = 90 %. De 10 transferencias enviadas, 8 se aceptan en un día hábil: 8 / 10 = 80 %. Si 6 de esas 8 reciben seguimiento dentro de los dos días hábiles siguientes a su aceptación, la proporción completada es 6 / 8 = 75 %. Los otros dos casos aceptados siguen atrasados o sin resolver; confirmar la recepción no cuenta como seguimiento.
Evalúa un ejemplo concreto
Imagina que un visitante pregunta: «¿Pueden sentarse 36 personas en el salón, hay una entrada sin escalones y puedo reservarlo para el 16 de octubre?». El agente consulta las páginas de capacidad, accesibilidad y solicitudes. Una respuesta adecuada sería:
«La página del salón indica capacidad para 36 personas sentadas y la página de accesibilidad describe una entrada sin escalones. Puedo preparar una solicitud para el 16 de octubre, pero la sala no quedará reservada hasta que el equipo revise el calendario y lo confirme».
La respuesta es útil si las páginas citadas respaldan los datos de capacidad y acceso, y el visitante puede llegar al formulario de solicitud. Comprueba la integridad del paquete cuando el equipo recibe la fecha, la pregunta pertinente y los datos de contacto elegidos. Registra la aceptación cuando el equipo confirma que se hará cargo, y el seguimiento completado cuando responde al visitante. Ninguno de esos eventos demuestra que se haya realizado una reserva.
Estas puntuaciones para un solo caso son ilustrativas y no representan un resultado del producto. Si el visitante pide al equipo que compruebe la fecha, evalúa la respuesta y la transferencia por separado:
Desplázate horizontalmente para ver todas las columnas.
| Resultado | Comprobación para este visitante | Puntuación ilustrativa |
|---|---|---|
| Utilidad | La respuesta aborda la capacidad y el acceso sin escalones, ofrece una forma de solicitar el 16 de octubre e indica que no hay una reserva confirmada. | 3 / 3 comprobaciones |
| Respaldo aprobado | Las afirmaciones sobre capacidad y acceso coinciden con sus páginas aprobadas vigentes; la disponibilidad sigue sin confirmarse. | 2 / 2 afirmaciones respaldadas |
| Calidad de la transferencia | El borrador registra la pregunta sobre el 16 de octubre, las páginas consultadas, la decisión pendiente sobre el calendario y al equipo de la sala como responsable. El visitante aún no eligió una vía de seguimiento. | 4 / 5 campos; mantén el borrador pendiente |
Prueba casos habituales y difíciles
Prepara un pequeño conjunto de evaluación a partir de las necesidades de los visitantes: una pregunta directa, una paráfrasis, una solicitud ambigua, un dato que no aparezca en el sitio, páginas contradictorias, una petición para garantizar una fecha y un caso que requiera a una persona. Anota la respuesta esperada, la fuente, el siguiente paso y cómo debe actuar el sistema si falla. Evalúa por separado la calidad de la respuesta y la transferencia para que una buena respuesta no oculte un traspaso fallido.
Durante un piloto, revisa una muestra de las interacciones reales solo de acuerdo con las políticas de privacidad y conservación de datos de la organización. Limita los datos recopilados, restringe quién puede revisarlos y oculta los detalles que no sean necesarios. Pide a las personas responsables de la tarea del visitante que revisen una muestra uniforme; las puntuaciones automatizadas pueden ayudar a organizar la revisión, pero no determinan si el resultado de servicio es aceptable.
Define cómo decidir antes de ampliar
Acuerda los umbrales de lanzamiento con las personas responsables del servicio, la capacidad de revisión y las consecuencias de una respuesta equivocada. Define qué errores detienen el piloto, cuáles requieren corrección y quién aprueba la ampliación. Si cambia una fuente, una instrucción o la vía de transferencia, vuelve a probar los casos afectados. Presenta la muestra y sus límites junto con los resultados, sin usar una única puntuación como prueba de calidad general.
Empieza por la evaluación de agentes, define la transferencia a una persona y repasa el patrón de agente para sitios web antes de ampliar la experiencia para visitantes.