July 18, 2017

Comment tester l'UX d'un Chatbot ?

Pourquoi optimiser un chatbot?

Les prédictions montrent que tout va aller très vite : En 2020, 50% des requêtes sur les moteurs de recherche en 2020 passeront par la voix (Source: Comscore), et  30% des requêtes ne passeront pas par un écran (Source : Gartner).

Cette croissance fulgurante a été rendue possible par les progrès de la reconnaissance vocale qui fluidifie les interactions par la voix avec son smartphone.
En parallèle, l'intelligence artificielle rend les agents conversationnels de plus en plus performants. Ces deux phénomènes se renforcent mutuellement et expliquent l'émergence des chatbots.


Au delà des enjeux de communication et d'image, les chatbots permettent :
  • une réduction des coûts, notamment en délestant le service client - et les vendeurs en magasin digitalisé - des questions les plus simples.  
  • une augmentation des taux de conversion sur un site web ou une appli mobile, en améliorant l'UX et l'engagement du visiteur, notamment en diminuant certains freins à la navigation (voir exemple plus bas)

Même si les bots actuellement en ligne sont encore peu "intelligents", les progrès récents suggèrent une amélioration rapide de leurs capacités conversationnelles dans un futur proche.

Dès lors que l'on comprend le potentiel business de ces agents conversationnels, vient la question de leur optimisation, et donc du testing.  

Quand et comment tester mon chatbot ?

Voici nos conseils pour savoir quand et comment tester à chacune des 4 étapes de la création d'un bot.


1/ DISCOVER - Entretien exploratoire

Comme pour toute interface, nous vous conseillons de tester le plus tôt possible. Lors de la création du bot, en l'absence de toute donnée analytics, il s'agit de faire entretiens exploratoires, afin de soumettre aux internautes / mobinautes des concepts, pistes créatives, offres, scénarios d'interaction...
Principal impact : un cahier des charges qui prend en compte l'avis des vrais clients / visiteurs. Cela se passe généralement en entretien quali 1to1, en présentiel ou en conf-call. Ces test exploratoires sont d'autant plus cruciaux que nous sommes au début de l'aventure, en pleine ascension de notre courbe d'apprentissage collective des interactions homme-chatbot.

1bis/ DISCOVER - User test de votre site / appli

Le développer qui a conçu le Chatbot de Warby Parker conseille d'utiliser le chat-bot pour fluidifier le parcours client sur les interfaces existantes. Pour cela, il recommande de commencer par un test utilisateur du site web ou de l'appli mobile actuellement en ligne, afin de déterminer les "pain points" (les fameux "irritants") du tunnel de conversion. Plus de détails, conseils méthodologiques et résultats chiffrés dans son article publié dans Chatbots Magazine.

2/ SYNTHESIZE - Test de scénarios et de maquettes

Une fois que les scénarios d'interaction sont rédigés, vous pouvez les faire tester pour vous assurer que la direction choisie est la bonne. Choisissez des testeurs différents de la première mission pour éviter les biais.
Si un prototype est disponible - idéalement des maquettes animées - l'interaction sera plus proche du rendu final, et les enseignements n'en seront que plus pertinents.

3/ BUILD - Test en pré-production

Le test le plus crucial aura lieu en phase de pré-production. Envoyez des dizaines de testeurs à l'assaut de votre agent conversationnel. Ils remonteront des bugs, des problèmes d'ergonomie, d'UX, de compréhension, de perception, de séduction, mais aussi des points positifs.

La plateforme de tests utilisateurs Ferpection est parfaitement adaptée à l'ensemble des tests pré-cités .

Vous pouvez compléter ces tests UX  par un test fonctionnel. l'enjeu est de faire tester tous les cas de figure, les CTA, et toutes les fonctionnalités par des testeurs professionnels.

4 TEST - Tests itératifs en production

Les données analytics de votre site / appli et de votre bot vous aideront à comprendre les comportements d'un point de vue quanti, et de détecter les principaux moments de sortie du site.

A ce stade comme aux précédents, les tests utilisateurs à distance permettent de détecter les irritants les plus frappants aux yeux des utilisateurs, et en particulier de comprendre POURQUOI certains utilisateurs ont décroché.
En effet, même si les visiteurs savent que c'est un robot qui répond, la moindre erreur est déceptive et peut détruire la confiance de l'internaute.

Enfin, certaines plateformes comme Botfuel proposent de l' AB testing du chatbot. L'enjeu est d'entrer dans une démarche itérative, en posant des hypothèses d'optimisation et en déterminant la version la plus performante parmi celles testées sur le site internet ou l'application mobile.  

Comment écrire le brief (scénario) pour le test UX ?

Gardez en tête que le brief est l'expression de vos objectifs d'étude. Vous devez donc commencer par lister ce que vous souhaitez en apprendre.
Nous vous conseillons de démarrer le scénario par un élément de contexte : "vous allez tester ..." et par une injonction à se "mettre dans la peau de quelqu'un qui souhaite..."

Puis imaginez un scénario de test. Vous pouvez utiliser un de vos personae, c'est-à-dire un visiteur imaginaire représentatif d'un de vos segments de clientèle.
Un scénario est composé d'étapes que devra suivre le testeur, avec un objectif et des questions à chaque étape.
Dans un test UX avec de vrais utilisateurs, nous vous conseillons de poser des questions ouvertes et de fixer des objectifs très larges (ex : tentez de nous contacter, de trouver cette info...).

Ce scénario devra être réaliste pour un vrai utilisateur. Pour cela, veillez à ne pas multiplier les objectifs - ou alors faites plusieurs tests.
Par exemple, un testeur aura 5 à 10 étapes, 1 seul objectif principal (ex: réserver, commander...), et éventuellement des objectifs secondaires (ex: obtenir des informations, partager un contenu...)  

Pour aller plus loin, consultez nos modèles de brief pour les testeurs.
 

Test utilisateur et scénarios d'interaction. Quelles spécificités ?

Une des tentations, des testeurs comme de vos futurs utilisateurs, pourra être de jouer à "casser le bot", c'est à dire de trouver ses failles.
Notre avis : Autant profiter du test utilisateur pour en apprendre un maximum et optimiser dans la foulée.
Plusieurs voies sont envisageables pour y arriver. Vous pouvez par exemple :
  • ne rien indiquer dans les premières étapes, puis demander expressément de chercher et remonter des failles.
  • ou bien demander en début de brief de se montrer bienveillant avec le bot et de lui faciliter la tâche, puis corser l'exercice au fur et à mesure 
Cela va dépendre de vos objectifs et du niveau de "maturité" de votre agent conversationnel.

Comment analyser les résultats du test utilisateur ?

Comme pour tout test quali, mettez vous en empathie avec le répondant. Ne vous braquez pas en cas de retour trop direct. Cherchez à comprendre son expérience, et les irritants / suggestions / satisfactions qu'il a remonté.
Pour posez le bon diagnostic, cherchez le volume, la convergence d'un nombre important de retours et/ou d'utilisateur vers un constat ou une hypothèse.
Un retour isolé n'aura en effet que peu de poids. C'est un signal faible, qui sera renforcé en cas de pluralité de signaux convergents (ou ignoré s'il est isolé).

Et maintenant ... à vous de jouer !

Vous avez un projet de lancement ou d'optimisation de chat-bot ?
Vous voulez en discuter avec nos experts ? Ou tout simplement réagir à cet article ?
Contactez nous : hello@ferpection.com ou au 01 76 42 00 45


PS : Si cet article vous a plu, merci de le partager à l'aide des boutons ci-dessous ;)

| |

En savoir plus sur les tests utilisateurs
Auteur
Adrien de Turckheim

Adrien de Turckheim

Adrien.Adrien is a strong beliver in the benefits of a GREAT Customer eXperience. He has spend >12 years enhancing offline & online experience of his customers (B2C), and his client's users (B2B2C) #CX #UX #ExperientialMarketing