En el siguiente board en Miró se muestran los siguientes criterios de evaluación y acá se puede revisar el test set base que se plantea como guía para evaluar un bot impulsado por GenAI:
Se llevaron a cabo pruebas a diferentes horarios y desde dos cuentas diferentes.
Fecha: 03/09/2024
Hora: 1:07 am CT
Número telefónico: 5569854432
Notas: Conversación inicial
ANÁLISIS
Experiencia de usuario (UX):
General:
✅ Tiempo de respuesta rápido.
❌ Parece ser que no hay implementación de un LLM.
❌ No hay disponibilidad 24/7.
Mensaje inicial (Welcome message):
✅ El uso de emojis pero debe ser reforzado con el tono de la marca.
❌ Presentación del bot: no establece quién es y qué puede hacer por el usuario.
❌ No comunica tono de la marca.
❌Uso de preguntas abiertas que no puede ser manejado de forma correcta porque aparentemente no hay un LLM.
Mensaje de horarios de operación:
✅ Se informa al usuario de los horarios de atención disponible.
✅ Se informa al usuario que se dará seguimiento a su consulta dentro de los horarios.
❌ Faltas de ortografía.
Rendimiento del modelo de lenguaje:
⚠️ No se pudo probar porque aparentemente no hay un LLM
Manejo del contexto en las conversaciones:
⚠️ No se pudo probar porque aparentemente no hay un LLM
PROPUESTAS DE MEJORA
Experiencia de usuario (UX):
General:
Habilitar la disponibilidad 24/7 que mejore la experiencia del usuario y aumente las oportunidades de conversión. Estableciendo un flujo que sin importar si en GenAI o no pueda sacar ventaja del canal.
Revisar la ortografía con Gramarly, Chatgpt, etc.
Mensaje inicial (Welcome message):
Presentación del bot breve, quién es y para que esta ahí, que comunique el tono de la marca.
Si no existe una implementación de un LLM, crear un menú de árbol de desiciones con las opciones más relevantes para cumplir el objetivo del bot.
Si se implementa un LLM el mensaje puede ser en un estilo más similar a un conversación de lenguaje natural.
Fecha: 03/09/2024
Hora: 08:26 am CT