Comment bien tester un chatbot ?

Faisons un rapide bilan de l’émergence des chatbots et l’évolution des comportements.

 + de 100 000 chatbots messenger ont été lancés depuis avril 2016

55% des internautes utilisent l’instant messaging au quotidien

4/5 des applications les plus téléchargées sont des apps de messagerie instantanée. 

Les usages se déplacent vers les plateformes messaging.

Les chatbots sont devenus très rapidement un enjeu pour les marques. Dans la création d’une expérience clients simplifiée cross-canal, le messaging et les chatbots deviennent des incontournables.

OK, c’est important, mais… qu’est-ce que c’est ?

Tout d’abord, un bot (la contraction de robot), c’est un programme qui interagit automatiquement avec un utilisateur. Par exemple, le bot de Google qui recense et indexe automatiquement les pages de votre site internet.

Pour rappel les chatbots sont des messageries automatiques dotées d’intelligence artificielle qui permettent de faciliter le contact entre utilisateurs et entreprises. Et c’est là où réside le buzz actuel, c’est que ce bot peut s’intégrer dans une conversation et que celui-ci continue d’apprendre et de se perfectionner en exploitant vos données. En bout de ligne, le succès d’un chatbot est qu’on ne parvient plus à le distinguer d’un humain tant ses réponses sont pertinentes et sa tonalité proche d’un humain.

Quel type de chatbot rencontre-t-on ?

1/ Les chatbots commerciaux

L’objectif de ces bots est la génération du trafic et des leads. A titre d’exemple, la SNCF a ainsi créé un nouveau levier d’acquisition en développant un chatbot permettant de réserver un voyage. Plus besoin de sortir d’une messagerie et d’aller vers une application spécifique, il suffit de poser la question au bot.

2/ Les chatbots de service client

Ce sont à la fois des bots qui permettent une expérience client fluide et de qualité après un acte d’achat ou plus simplement aiguillé le client vers une solution à son problème. Ils permettent de réaliser des économies tout en fluidifiant l’accès aux services de support. Dans le cas de Direct Energie, un chatbot permet de récupérer des relevés, avoir une aide en images, être mis en relation avec un téléconseiller.

3/ Les chatbots fun

 Il s’agit ici de faire vivre une expérience à l’usager. A titre d’exemple, l’équipe de France de Football annonce les scores ou permet d’envoyer des messages d’encouragements aux joueurs.

Comment recetter un chatbot – Retour d’expérience chez StarDust.

L’un de nos clients évoluant dans le secteur ferroviaire nous a confié le test de plusieurs chatbots. Le principe du test fonctionnel d’un chatbot réside dans la vérification du comportement du robot face à des questions. Pour construire les cahiers de recette, nous nous sommes basés sur la base d’entrants fournis par les prestataires responsables du développement des robots, sous la forme de listes de questions.

Sur la base de ces éléments, nous avons identifié trois types de réponses : 

• Réponse cohérente,
• Réponse incohérente,
• Je ne sais pas.

Pour ce test, StarDust a posé 2752 questions en cumulé à 4 ChatBots.

Ce test a permis de mettre en lumière des écarts de performance, variables selon les langues. Il a également permis d’apporter un ressenti utilisateur sur l’ergonomie des chatbots.

Et après ?

Toute la réflexion sur le futur porte sur la récurrence de ces tests sur un robot. Le bot étant en constant "apprentissage", nous allons mettre en place des métriques permettant d'évaluer l'évolution du bot. Par ailleurs, en terme de méthodologie, le couplage de l’automatisation et de l’exploratoire est une piste que nous étudions pour valider l’historique et contrôler la nouveauté.